🤖 சுட்டி

robots. txt & தள வரைபடம் சோதனை

எந்த தளத்தின் URL ஐ உள்ளிடவும். நாங்கள் அதன் robots. txt மற்றும் sitemap. xml ஐ எங்கள் சேவையகத்திலிருந்து பெறுகிறோம், நீங்கள் கரைசல் வழிகாட்டல்களையும் அறிவித்த தள வரைபடங்களையும் காட்டலாம், மற்றும் கேள்வி- சர தள வரைபட URL களை குறிப்பிடுகிறது, இது இரட்டை- உள்ளடக்கத்தை குறைக்கிறது.

robots.txt மற்றும் sitemap.xml எப்படி சோதனை

நான்கு படிகள், பதிவு இல்லை. முழு சோதனை சேவையக பக்கத்தில் இயங்குகிறது.

தளத்தின் URLஐ ஒட்டுக

எந்த தளத்தின் இல்லப்பக்க URL ஐ உள்ளிடவும். robots. txt க்கு முழு பாதை தேவையில்லை - நாம் அதை புரவலனிலிருந்து பெறுகிறோம்.

சேவையகத்திலிருந்து பெறு

எங்கள் சேவையகம் robots.txt மற்றும் ஒவ்வொரு அறிவிக்கப்பட்ட sitemap.xml ஐ கோருகிறது, எனவே சோதனை உங்கள் உலாவி அல்லது உங்கள் சொந்த தற்காலிக நினைவகத்தால் தடுக்கப்படவில்லை.

இயக்கங்களை மற்றும் தள வரைபடங்களை படிக்கவும்

பகுப்பாய்வு செய்யப்பட்ட பயனர்- செயலி குழுக்கள், அனுமதிக்காத விதிமுறைகள் மற்றும் அறிவிக்கப்பட்ட தள வரைபடங்களின் பட்டியலை பரிசீலிக்கவும், ஒவ்வொருவற்றிலிருந்தும் ஒரு URL மாதிரியுடன்.

குறிக்கப்பட்டதை சரிசெய்

எந்த கேள்வி-சரம் தள வரைபட URL களை அல்லது தடை செய்யப்பட்ட-ஆனால்-அட்டவணைப்படுத்தப்பட்ட முரண்பாடுகளை ஒரு தேடு இயந்திரம் நகல்களை கீழே இறக்க முன் தீர்க்கவும்.

இந்த சோதனையாளர் என்ன சோதிக்கிறது

அதே பாதுகாப்பு கம்பிகள் நாம் உள்ளே இயக்க ஒரு பக்கம் வெளியிடும் முன்.

📜

கரைசல் வழிகாட்டுதல்கள்

ஒவ்வொரு பயனர்- செயலி குழுவும் அதன் அனுமதி / தடை விதிகளையும் பகுக்கிறது, எனவே நீங்கள் தடுக்கப்பட்டது என்ன என்பதை சரியாக பார்க்கலாம்.

🗺️

அறிவிக்கப்பட்ட தள வரைபடங்கள்

robots.txt இல் குறிப்பிடப்பட்டுள்ள ஒவ்வொரு தள வரைபடத்தையும் பட்டியலிடுகிறது, ஒவ்வொருவற்றையும் பெறுகிறது, அதன் வகை மற்றும் URL எண்ணிக்கையை அறிவிக்கிறது.

⚠️

கேள்வி-சரம் பெருக்கல்

கேள்வி-சரம் தள வரைபட URL களை குறிக்கிறது, அவை நடு-நோக்கி-நோக்கி பக்கங்களைப் பயிர் செய்கின்றன மற்றும் நடு-நோக்கி-நோக்கி-உள்ளடக்கத்தைக் குறைக்கத் தூண்டுகின்றன.

🔗

உடல்நிலையை பெறு

robots.txt இல் அறிவிக்கப்பட்ட தள வரைபடங்களை பிழை, திருப்பு, அல்லது XML அல்லாததை திரும்பப் பெறுகிறது - அமைதியான கரையோரக் கொலையாளிகள்.

அடிக்கடி கேட்கப்படும் கேள்விகள்

ஒரு தள வரைபடத்தில் ஒரு கேள்வி- சர URL நூற்றுக்கணக்கான பக்கங்களை நகலெடுக்க முடியும். தேடு இயந்திரங்கள் அவற்றை கண்டுபிடித்து, ஒரே உள்ளடக்கத்தை வேறு அளவுருக்கள் கீழ் காணலாம், மற்றும் நகலெடுக்கப்பட்ட உள்ளடக்கத்திற்காக முழு குழுவையும் கீழே இறக்கலாம். இந்த சோதனை அது நடக்கும் முன் அவற்றை குறிக்கும்.

இல்லை. ஒரு காணாமல் போன அல்லது வெற்று robots.txt அனைத்து கரைந்து அனுமதிக்கிறது. ஆபத்து எதிர்மறையாக உள்ளது: ஒரு மிகவும் பரந்த அனுமதிக்காதது நீங்கள் சுட்டுவதை விரும்பும் பக்கங்களை தடுக்கிறது, அல்லது robots.txt ல் அறிவிக்கப்பட்ட ஒரு தள வரைபடம் பிழை திரும்புகிறது.

இல்லை. நாம் robots.txt மற்றும் அது அறிவிக்கும் தள வரைபடங்களை பெறுகிறோம், பின்னர் ஒவ்வொரு URL களிலிருந்தும் ஒரு மாதிரியை படிக்கவும். நாம் ஒவ்வொரு பக்கத்தையும் திரும்பத் திரும்பக் கரைசல் செய்யவில்லை, எனவே சோதனை வேகமாக உள்ளது மற்றும் உங்கள் சேவையகத்தை ஏற்றாது.

ஆம், இந்த சோதனை பதிவு இல்லாமல் இலவசமாக உள்ளது. ஒரு REST API மூலம் நிரல் அணுகல் கட்டணம் நிர்வகிக்கப்பட்ட திட்டங்களில் கிடைக்கும்.

⚙️ உருவாக்குபவர்களுக்கு

உங்கள் குழாய்களில் இயக்கவும்

இந்த சோதனை முழுவதுமாக சேவையக பக்கத்தில் இயங்குகிறது - நீங்கள் ஒரு URL ஐ சமர்ப்பிக்க, எங்கள் பின்னணி robots.txt மற்றும் அறிவிக்கப்பட்ட தள வரைபடங்களை பெறுகிறது மற்றும் பகுக்கிறது, பின்னர் இந்த பக்கத்தை முடிவுகளுடன் மீண்டும் உருவாக்குகிறது. CI / CD மற்றும் கூட்டு கணக்கீட்டிற்கான ஒரு நிரல் REST API கட்டண நிர்வாக திட்டங்களில் கிடைக்கிறது. திட்டங்களைப் பார்க்கவும் →