robots. txt & தள வரைபடம் சோதனை
எந்த தளத்தின் URL ஐ உள்ளிடவும். நாங்கள் அதன் robots. txt மற்றும் sitemap. xml ஐ எங்கள் சேவையகத்திலிருந்து பெறுகிறோம், நீங்கள் கரைசல் வழிகாட்டல்களையும் அறிவித்த தள வரைபடங்களையும் காட்டலாம், மற்றும் கேள்வி- சர தள வரைபட URL களை குறிப்பிடுகிறது, இது இரட்டை- உள்ளடக்கத்தை குறைக்கிறது.
robots.txt மற்றும் sitemap.xml எப்படி சோதனை
நான்கு படிகள், பதிவு இல்லை. முழு சோதனை சேவையக பக்கத்தில் இயங்குகிறது.
தளத்தின் URLஐ ஒட்டுக
எந்த இணையதளத்தின் முகப்புப் பக்கத்தின் URL-ஐயும் உள்ளிடலாம். robots.txt கோப்பின் முழு முகவரியை நீங்கள் கொடுக்கத் தேவையில்லை, ஏனெனில் அதை நாங்கள் அந்த இணையதளத்தின் முகவரியிலிருந்து (host) தானாகவே கண்டறிந்து கொள்வோம்.
சேவையகத்திலிருந்து பெறு
எங்கள் சேவையகம் robots.txt மற்றும் ஒவ்வொரு அறிவிக்கப்பட்ட sitemap.xml ஐ கோருகிறது, எனவே சோதனை உங்கள் உலாவி அல்லது உங்கள் சொந்த தற்காலிக நினைவகத்தால் தடுக்கப்படவில்லை.
இயக்கங்களை மற்றும் தள வரைபடங்களை படிக்கவும்
பகுப்பாய்வு செய்யப்பட்ட பயனர்- செயலி குழுக்கள், அனுமதிக்காத விதிமுறைகள் மற்றும் அறிவிக்கப்பட்ட தள வரைபடங்களின் பட்டியலை பரிசீலிக்கவும், ஒவ்வொருவற்றிலிருந்தும் ஒரு URL மாதிரியுடன்.
குறிக்கப்பட்டதை சரிசெய்
எந்த கேள்வி-சரம் தள வரைபட URL களை அல்லது தடை செய்யப்பட்ட-ஆனால்-அட்டவணைப்படுத்தப்பட்ட முரண்பாடுகளை ஒரு தேடு இயந்திரம் நகல்களை கீழே இறக்க முன் தீர்க்கவும்.
இந்த சோதனையாளர் என்ன சோதிக்கிறது
அதே பாதுகாப்பு கம்பிகள் நாம் உள்ளே இயக்க ஒரு பக்கம் வெளியிடும் முன்.
கரைசல் வழிகாட்டுதல்கள்
ஒவ்வொரு பயனர்- செயலி குழுவும் அதன் அனுமதி / தடை விதிகளையும் பகுக்கிறது, எனவே நீங்கள் தடுக்கப்பட்டது என்ன என்பதை சரியாக பார்க்கலாம்.
அறிவிக்கப்பட்ட தள வரைபடங்கள்
robots.txt இல் குறிப்பிடப்பட்டுள்ள ஒவ்வொரு தள வரைபடத்தையும் பட்டியலிடுகிறது, ஒவ்வொருவற்றையும் பெறுகிறது, அதன் வகை மற்றும் URL எண்ணிக்கையை அறிவிக்கிறது.
கேள்வி-சரம் பெருக்கல்
கேள்வி-சரம் தள வரைபட URL களை குறிக்கிறது, அவை நடு-நோக்கி-நோக்கி பக்கங்களைப் பயிர் செய்கின்றன மற்றும் நடு-நோக்கி-நோக்கி-உள்ளடக்கத்தைக் குறைக்கத் தூண்டுகின்றன.
உடல்நிலையை பெறு
robots.txt கோப்பில் குறிப்பிடப்பட்டுள்ள, ஆனால் பிழைகள் உள்ள, திருப்பிவிடல்கள் கொண்ட, அல்லது XML வடிவத்தில் இல்லாத தள வரைபடங்கள். இவை, தேடுபொறிகள் தளத்தை ஸ்கேன் செய்வதை நிறுத்திவிடும் காரணிகளாகும்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
உங்கள் குழாய்களில் இயக்கவும்
இந்தச் சோதனை கருவி முழுமையாக சர்வர் பக்கத்தில் இயங்குகிறது. நீங்கள் ஒரு URL-ஐ உள்ளீடு செய்தால், எங்கள் பின்புல அமைப்பு (backend) அந்த URL-இன் robots.txt மற்றும் அறிவிக்கப்பட்ட தள வரைபடங்களை (sitemaps) பெற்று, அவற்றை பகுப்பாய்வு செய்து, பின்னர் முடிவுகளுடன் அந்தப் பக்கத்தை மீண்டும் காண்பிக்கும். மேலும், CI/CD (தொடர்ச்சியான ஒருங்கிணைப்பு/தொடர்ச்சியான விநியோகம்) மற்றும் மொத்த தணிக்கை (bulk auditing) போன்றவற்றுக்கான நிரல் சார்ந்த REST API, கட்டண சந்தா திட்டங்களில் (paid managed plans) கிடைக்கிறது. திட்டங்களைப் பார்க்கவும் →
நிரல்முறையாக பயன்படுத்து
"புரோ" மற்றும் "ஏபிஐ" திட்டங்களில், ஒவ்வொரு கருவியும் ஒரு அங்கீகரிக்கப்பட்ட REST API மூலம் கிடைக்கிறது. இந்த API-ஐ உங்கள் தொடர்ச்சியான ஒருங்கிணைப்பு (CI), உள்ளடக்க மேலாண்மை அமைப்பு (CMS) அல்லது டாஷ்போர்டுகளுடன் இணைத்து பயன்படுத்தலாம்.