🤖 Indeksimi

robots.txt

Fut URL-në e çdo site. Ne marrim robots.txt dhe sitemap.xml nga serveri ynë, të tregojmë direktivat e gërmimit dhe sitemap-ët e deklaruar, dhe të shënojmë URL-të sitemap-it me stringë pyetjeje që shkaktojnë reduktime të përmbajtjes së dyfishtë.

Si të testoni një robots.txt dhe sitemap.xml

Katër hapa, pa regjistrim, e gjithë kontrollimi bëhet në server.

1

Ngjite URL e site-it

Shkruaj URL-në e faqes kryesore të çdo site. Nuk duhet të jepet rruga e plotë për robots.txt — e marrim nga host.

2

Do të marrim nga serveri ynë

Serveri ynë kërkon robots.txt dhe çdo sitemap.xml të deklaruar, kështu që testi nuk bllokohet nga shfletuesi juaj apo cache juaj.

3

Lexo direktivat dhe hartat e faqes

Shiko grupët e analizuar të përdoruesit-agjentit, moslejo rregullat dhe listën e deklaruar të sitemap, me një shembull URL nga secili.

4

Korrigjo

Zgjidh çdo URL sitemap me stringë pyetjeje ose konflikte të bllokuara por të indeksuara para se një motor kërkimi të zbresë dyfishimet.

Çfarë kontrollon ky tester

Të njëjtat rrëmbime që përdorim brenda para se të publikojmë një faqe të vetme.

📜

Direktiva e shkarkimit

Analizon çdo grup të përdoruesit-agjentit dhe rregullat e tij të lejimit/moslejimit që të mund të shihni saktësisht se çfarë është bllokuar.

🗺️

Sitemap e deklaruar

Liston çdo sitemap të referuar në robots.txt, merr secilin, dhe raporton llojin e tij dhe numrin e URL-ve.

⚠️

Query-string bloat

Flags query-string sitemap URLs që rrënjët afër-duplikate faqe dhe shkakton duplikate-përmbajtje degradimeve.

🔗

Merr shëndetin

Kap sitemaps deklaruar në robots.txt që gabim, ridrejtuar, ose kthejnë jo-XML - të heshtur crawl vrasës.

Pyetja e shpeshtë

Një URL e vetme me stringë pyetjeje në një sitemap mund të krijojë mijëra faqe pothuajse të dyfishta. Motorët e kërkimit i gërmojnë ato, gjejnë të njëjtën përmbajtje nën parametra të ndryshëm dhe e zbresin të gjithë grupin për përmbajtje të dyfishtë. Ky tester i shënon ato para se të ndodhë kjo.
Jo. Një robots.txt i munguar ose bosh thjesht lejon të gjithë shkarkimin. Rreziku është i kundërt: një disallow tepër i gjerë që bllokon faqet që dëshironi të indeksohen, ose një sitemap e deklaruar në robots.txt që kthen një gabim.
Jo. Ne marrim robots.txt dhe sitemaps që deklaron, pastaj lexojmë një shembull të URL-ve nga secili. Ne nuk shkojmë çdo faqe në mënyrë rekurente, kështu që testi është i shpejtë dhe nuk do të ngarkojë serverin tuaj.
Po, testimi është i lirë pa regjistrim. Hyrja programatike nëpërmjet një API REST është në dispozicion në planet e menazhuara të paguashme.
⚙️ Për zhvilluesit

E drejto në tubacionin tënd.

Ky testeri punon krejtësisht në anën e serverit — ju dërgoni një URL, backend-i ynë merr dhe analizon robots.txt dhe hartat e deklaruara të faqes, pastaj e ri-renderon këtë faqe me rezultatet. Një API REST programore për CI/CD dhe auditimin e masive është në dispozicion në planet e menazhuara të paguajëshme. Shiko plane →