சுட்டி

robots. txt & தள வரைபடம் சோதனை

எந்த தளத்தின் URL ஐ உள்ளிடவும். நாங்கள் அதன் robots. txt மற்றும் sitemap. xml ஐ எங்கள் சேவையகத்திலிருந்து பெறுகிறோம், நீங்கள் கரைசல் வழிகாட்டல்களையும் அறிவித்த தள வரைபடங்களையும் காட்டலாம், மற்றும் கேள்வி- சர தள வரைபட URL களை குறிப்பிடுகிறது, இது இரட்டை- உள்ளடக்கத்தை குறைக்கிறது.

robots.txt மற்றும் sitemap.xml எப்படி சோதனை

நான்கு படிகள், பதிவு இல்லை. முழு சோதனை சேவையக பக்கத்தில் இயங்குகிறது.

1

தளத்தின் URLஐ ஒட்டுக

எந்த இணையதளத்தின் முகப்புப் பக்கத்தின் URL-ஐயும் உள்ளிடலாம். robots.txt கோப்பின் முழு முகவரியை நீங்கள் கொடுக்கத் தேவையில்லை, ஏனெனில் அதை நாங்கள் அந்த இணையதளத்தின் முகவரியிலிருந்து (host) தானாகவே கண்டறிந்து கொள்வோம்.

2

சேவையகத்திலிருந்து பெறு

எங்கள் சேவையகம் robots.txt மற்றும் ஒவ்வொரு அறிவிக்கப்பட்ட sitemap.xml ஐ கோருகிறது, எனவே சோதனை உங்கள் உலாவி அல்லது உங்கள் சொந்த தற்காலிக நினைவகத்தால் தடுக்கப்படவில்லை.

3

இயக்கங்களை மற்றும் தள வரைபடங்களை படிக்கவும்

பகுப்பாய்வு செய்யப்பட்ட பயனர்- செயலி குழுக்கள், அனுமதிக்காத விதிமுறைகள் மற்றும் அறிவிக்கப்பட்ட தள வரைபடங்களின் பட்டியலை பரிசீலிக்கவும், ஒவ்வொருவற்றிலிருந்தும் ஒரு URL மாதிரியுடன்.

4

குறிக்கப்பட்டதை சரிசெய்

எந்த கேள்வி-சரம் தள வரைபட URL களை அல்லது தடை செய்யப்பட்ட-ஆனால்-அட்டவணைப்படுத்தப்பட்ட முரண்பாடுகளை ஒரு தேடு இயந்திரம் நகல்களை கீழே இறக்க முன் தீர்க்கவும்.

இந்த சோதனையாளர் என்ன சோதிக்கிறது

அதே பாதுகாப்பு கம்பிகள் நாம் உள்ளே இயக்க ஒரு பக்கம் வெளியிடும் முன்.

📜

கரைசல் வழிகாட்டுதல்கள்

ஒவ்வொரு பயனர்- செயலி குழுவும் அதன் அனுமதி / தடை விதிகளையும் பகுக்கிறது, எனவே நீங்கள் தடுக்கப்பட்டது என்ன என்பதை சரியாக பார்க்கலாம்.

🗺️

அறிவிக்கப்பட்ட தள வரைபடங்கள்

robots.txt இல் குறிப்பிடப்பட்டுள்ள ஒவ்வொரு தள வரைபடத்தையும் பட்டியலிடுகிறது, ஒவ்வொருவற்றையும் பெறுகிறது, அதன் வகை மற்றும் URL எண்ணிக்கையை அறிவிக்கிறது.

⚠️

கேள்வி-சரம் பெருக்கல்

கேள்வி-சரம் தள வரைபட URL களை குறிக்கிறது, அவை நடு-நோக்கி-நோக்கி பக்கங்களைப் பயிர் செய்கின்றன மற்றும் நடு-நோக்கி-நோக்கி-உள்ளடக்கத்தைக் குறைக்கத் தூண்டுகின்றன.

🔗

உடல்நிலையை பெறு

robots.txt கோப்பில் குறிப்பிடப்பட்டுள்ள, ஆனால் பிழைகள் உள்ள, திருப்பிவிடல்கள் கொண்ட, அல்லது XML வடிவத்தில் இல்லாத தள வரைபடங்கள். இவை, தேடுபொறிகள் தளத்தை ஸ்கேன் செய்வதை நிறுத்திவிடும் காரணிகளாகும்.

அடிக்கடி கேட்கப்படும் கேள்விகள்

ஒரு தள வரைபடத்தில் ஒரு கேள்வி- சர URL நூற்றுக்கணக்கான பக்கங்களை நகலெடுக்க முடியும். தேடு இயந்திரங்கள் அவற்றை கண்டுபிடித்து, ஒரே உள்ளடக்கத்தை வேறு அளவுருக்கள் கீழ் காணலாம், மற்றும் நகலெடுக்கப்பட்ட உள்ளடக்கத்திற்காக முழு குழுவையும் கீழே இறக்கலாம். இந்த சோதனை அது நடக்கும் முன் அவற்றை குறிக்கும்.
இல்லை. ஒரு காணாமல் போன அல்லது வெற்று robots.txt அனைத்து கரைந்து அனுமதிக்கிறது. ஆபத்து எதிர்மறையாக உள்ளது: ஒரு மிகவும் பரந்த அனுமதிக்காதது நீங்கள் சுட்டுவதை விரும்பும் பக்கங்களை தடுக்கிறது, அல்லது robots.txt ல் அறிவிக்கப்பட்ட ஒரு தள வரைபடம் பிழை திரும்புகிறது.
இல்லை. நாம் robots.txt மற்றும் அது அறிவிக்கும் தள வரைபடங்களை பெறுகிறோம், பின்னர் ஒவ்வொரு URL களிலிருந்தும் ஒரு மாதிரியை படிக்கவும். நாம் ஒவ்வொரு பக்கத்தையும் திரும்பத் திரும்பக் கரைசல் செய்யவில்லை, எனவே சோதனை வேகமாக உள்ளது மற்றும் உங்கள் சேவையகத்தை ஏற்றாது.
ஆம், இந்த சோதனை பதிவு இல்லாமல் இலவசமாக உள்ளது. ஒரு REST API மூலம் நிரல் அணுகல் கட்டணம் நிர்வகிக்கப்பட்ட திட்டங்களில் கிடைக்கும்.
உருவாக்குபவர்களுக்கு

உங்கள் குழாய்களில் இயக்கவும்

இந்தச் சோதனை கருவி முழுமையாக சர்வர் பக்கத்தில் இயங்குகிறது. நீங்கள் ஒரு URL-ஐ உள்ளீடு செய்தால், எங்கள் பின்புல அமைப்பு (backend) அந்த URL-இன் robots.txt மற்றும் அறிவிக்கப்பட்ட தள வரைபடங்களை (sitemaps) பெற்று, அவற்றை பகுப்பாய்வு செய்து, பின்னர் முடிவுகளுடன் அந்தப் பக்கத்தை மீண்டும் காண்பிக்கும். மேலும், CI/CD (தொடர்ச்சியான ஒருங்கிணைப்பு/தொடர்ச்சியான விநியோகம்) மற்றும் மொத்த தணிக்கை (bulk auditing) போன்றவற்றுக்கான நிரல் சார்ந்த REST API, கட்டண சந்தா திட்டங்களில் (paid managed plans) கிடைக்கிறது. திட்டங்களைப் பார்க்கவும் →

உருவாக்குபவர் API

நிரல்முறையாக பயன்படுத்து

"புரோ" மற்றும் "ஏபிஐ" திட்டங்களில், ஒவ்வொரு கருவியும் ஒரு அங்கீகரிக்கப்பட்ட REST API மூலம் கிடைக்கிறது. இந்த API-ஐ உங்கள் தொடர்ச்சியான ஒருங்கிணைப்பு (CI), உள்ளடக்க மேலாண்மை அமைப்பு (CMS) அல்லது டாஷ்போர்டுகளுடன் இணைத்து பயன்படுத்தலாம்.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 கி.மு.
{ "ok": true, "result": { ... } }
API விசையை பெறுக → அளவிடப்பட்ட, ஒரு அழைப்பிற்கு விலை. மேலே உள்ள இடைமுக கருவிக்கான இலவச நிலை.
உங்கள் தளத்தின் ஒவ்வொரு பக்கத்தையும் சரிபார்க்கவும், ஒரு நேரத்தில் ஒரு பக்கம் அல்ல
Pro இணைக்கிறது கூகுள் தேடுகருவி, பெறுகிறது ஒவ்வொரு பக்கம் கூகுள் தவறவிட்ட, ஒவ்வொரு கிழித்த பக்கம் மற்றும் ஒவ்வொரு பக்கம் தரம் குறைந்த, மற்றும் எழுதுவது என்ன சரி செய்ய ஒவ்வொரு ஒரு.
Pro எப்படி வேலை செய்கிறது என்பதைப் பாருங்கள்