🤖 Crawl & indexácia

Robots.txt & Sitemap Tester

Načítame súbor robots.txt a súbor sitemap.xml z nášho servera, zobrazíme vám smernice prehľadávania a deklarované súbory sitemap a označíme adresy URL súborov sitemap s reťazcom dopytu, ktoré spôsobujú zníženie hodnoty duplicitného obsahu.

Ako otestovať robots.txt a sitemap.xml

Štyri kroky, žiadna registrácia. Celá kontrola prebieha na strane servera.

1

Vložte URL adresu stránky

Nepotrebujete úplnú cestu k súboru robots.txt – získame ju z hostiteľa.Vyhľadávanie robotov je možné spustiť aj bez uvedenia úplnej cesty k súboru robots.txt.

2

Načítame z nášho servera

Náš server vyžaduje robots.txt a každý deklarovaný sitemap.xml, takže test nie je blokovaný vaším prehliadačom alebo vlastnou vyrovnávacou pamäťou.

3

Prečítajte si pokyny a súbory Sitemap

Skontrolujte analyzované skupiny user-agentov, nepovoľte pravidlá a zoznam deklarovaných súborov sitemap, pričom z každého z nich vyberte vzorovú adresu URL.

4

Opraviť to, čo je označené

Vyriešte všetky adresy URL súborov Sitemap s reťazcami dotazov alebo konflikty blokovaných, ale indexovaných súborov Sitemap predtým, ako vyhľadávač degraduje duplicity.

Čo tento tester kontroluje

Rovnaké zábradlia prevádzkujeme interne pred zverejnením jednej stránky.

📜

Smernice prehľadávania webu

Analyzuje každú skupinu užívateľských agentov a jej pravidlá Povoliť/Zakázať, takže môžete presne vidieť, čo je blokované.

🗺️

Deklarované mapy stránok

Vypíše všetky súbory Sitemap odkazované v súbore robots.txt, načíta ich a nahlási ich typ a počet adries URL.

⚠️

Nafúknutie reťazca dotazu

Označuje adresy URL súborov sitemap s reťazcom dotazu, ktoré vytvárajú takmer duplicitné stránky a spúšťajú degradácie duplicitného obsahu.

🔗

Načítať zdravie

Zachytáva súbory sitemap deklarované v súbore robots.txt, ktoré obsahujú chyby, presmerovania alebo vrátia obsah bez formátu XML – tiché zabíjačky prehľadávania.

Často kladené otázky

Jediná adresa URL s reťazcom dopytu v súbore Sitemap môže vytvoriť tisíce takmer duplicitných stránok, ktoré vyhľadávacie nástroje prehľadávajú, nájdu rovnaký obsah s rôznymi parametrami a znižujú hodnotu celého klastra pre duplicitný obsah. Tento tester ich označí skôr, ako sa to stane.
Chýbajúci alebo prázdny súbor robots.txt jednoducho povoľuje všetky prehľadávania. Riziko je naopak: príliš široké zakázanie, ktoré blokuje stránky, ktoré chcete indexovať, alebo súbor sitemap deklarovaný v súbore robots.txt, ktorý vracia chybu.
Nie, načítame súbor robots.txt a súbory Sitemap, ktoré deklaruje, a potom z každej stránky prečítame vzorku adries URL. Neprehľadávame rekurzívne každú stránku, takže test je rýchly a nenačíta váš server.
Áno, tester je bezplatný a bez registrácie, programový prístup cez REST API je k dispozícii v platených spravovaných plánoch.
⚙️ Pre vývojárov

Spustite ho vo vašom potrubí

Tento tester funguje výlučne na strane servera. Odošlete webovú adresu, náš server načítanalyzuje súbor robots.txt a deklarované súbory sitemap a potom znovu vykreslí túto stránku s výsledkami. Programové rozhranie API REST na integráciu, deaktiváciu a hromadné audity je k dispozícii v platených spravovaných plánoch. Pozrite si plány →