robots.txt
Fut URL-në e çdo site. Ne marrim robots.txt dhe sitemap.xml nga serveri ynë, të tregojmë direktivat e gërmimit dhe sitemap-ët e deklaruar, dhe të shënojmë URL-të sitemap-it me stringë pyetjeje që shkaktojnë reduktime të përmbajtjes së dyfishtë.
Si të testoni një robots.txt dhe sitemap.xml
Katër hapa, pa regjistrim, e gjithë kontrollimi bëhet në server.
Ngjite URL e site-it
Hyni adresën URL të faqes kryesore të çdo faqe interneti. Nuk keni nevojë të përfshini rrugën e plotë për skedën "robots.txt", sepse ne e marrim atë nga adresa e serverit.
Do të marrim nga serveri ynë
Serveri ynë kërkon robots.txt dhe çdo sitemap.xml të deklaruar, kështu që testi nuk bllokohet nga shfletuesi juaj apo cache juaj.
Lexo direktivat dhe hartat e faqes
Shiko grupët e analizuar të përdoruesit-agjentit, moslejo rregullat dhe listën e deklaruar të sitemap, me një shembull URL nga secili.
Korrigjo
Zgjidh çdo URL sitemap me stringë pyetjeje ose konflikte të bllokuara por të indeksuara para se një motor kërkimi të zbresë dyfishimet.
Çfarë kontrollon ky tester
Të njëjtat rrëmbime që përdorim brenda para se të publikojmë një faqe të vetme.
Direktiva e shkarkimit
Analizon çdo grup të përdoruesit-agjentit dhe rregullat e tij të lejimit/moslejimit që të mund të shihni saktësisht se çfarë është bllokuar.
Sitemap e deklaruar
Liston çdo sitemap të referuar në robots.txt, merr secilin, dhe raporton llojin e tij dhe numrin e URL-ve.
Query-string bloat
Flags query-string sitemap URLs që rrënjët afër-duplikate faqe dhe shkakton duplikate-përmbajtje degradimeve.
Merr shëndetin
Kapë sitemapat e deklaruara në robots.txt që shfaqin gabime, drejtueshësi (redirect) ose që kthejnë një format që nuk është XML. Këto janë "vrasës" të fshehtë për procesin e skanimit (crawl).
Pyetja e shpeshtë
E drejto në tubacionin tënd.
Ky test funksionon plotësisht në server. Ju dërgoni një URL, sistemi ynë merr dhe analizon fajllin "robots.txt" dhe hartat e vendit (sitemaps) të deklaruara, dhe më pas riprodhon këtë faqe me rezultatet. Një API REST programatik për integrimin në sistemet CI/CD dhe për auditime masive është i disponueshëm në planet e pagesë. Shiko plane →
[Translation temporarily unavailable. Please try again.]
Çdo mjet është i disponueshëm përmes një API REST të autentikuar në planet "Pro" dhe "API". Integroni këtë API në sistemet tuaja të integrimit të vazhdueshëm (CI), sistemet tuaja të menaxhimit të përmbajtjes (CMS) ose panela të kontrollit.