Crawl & indexácia

Robots.txt & Sitemap Tester

Načítame súbor robots.txt a súbor sitemap.xml z nášho servera, zobrazíme vám smernice prehľadávania a deklarované súbory sitemap a označíme adresy URL súborov sitemap s reťazcom dopytu, ktoré spôsobujú zníženie hodnoty duplicitného obsahu.

Ako otestovať robots.txt a sitemap.xml

Štyri kroky, žiadna registrácia. Celá kontrola prebieha na strane servera.

1

Vložte URL adresu stránky

Zadajte URL adresu hlavnej stránky akékoľvek webovej stránky. Nie je potrebné uvádzať celú cestu k súboru robots.txt, pretože ho odvodíme z domény.

2

Načítame z nášho servera

Náš server vyžaduje robots.txt a každý deklarovaný sitemap.xml, takže test nie je blokovaný vaším prehliadačom alebo vlastnou vyrovnávacou pamäťou.

3

Prečítajte si pokyny a súbory Sitemap

Skontrolujte analyzované skupiny user-agentov, nepovoľte pravidlá a zoznam deklarovaných súborov sitemap, pričom z každého z nich vyberte vzorovú adresu URL.

4

Opraviť to, čo je označené

Vyriešte všetky adresy URL súborov Sitemap s reťazcami dotazov alebo konflikty blokovaných, ale indexovaných súborov Sitemap predtým, ako vyhľadávač degraduje duplicity.

Čo tento tester kontroluje

Rovnaké zábradlia prevádzkujeme interne pred zverejnením jednej stránky.

📜

Smernice prehľadávania webu

Analyzuje každú skupinu užívateľských agentov a jej pravidlá Povoliť/Zakázať, takže môžete presne vidieť, čo je blokované.

🗺️

Deklarované mapy stránok

Vypíše všetky súbory Sitemap odkazované v súbore robots.txt, načíta ich a nahlási ich typ a počet adries URL.

⚠️

Nafúknutie reťazca dotazu

Označuje adresy URL súborov sitemap s reťazcom dotazu, ktoré vytvárajú takmer duplicitné stránky a spúšťajú degradácie duplicitného obsahu.

🔗

Načítať zdravie

Zachycuje mapy stránok (sitemaps) deklarované v súbore robots.txt, ktoré obsahujú chyby, presmerovania alebo vracajú dáta, ktoré nie sú vo formáte XML. Tieto problémy potichu zabraňujú správnemu indexovaniu stránok.

Často kladené otázky

Jediná adresa URL s reťazcom dopytu v súbore Sitemap môže vytvoriť tisíce takmer duplicitných stránok, ktoré vyhľadávacie nástroje prehľadávajú, nájdu rovnaký obsah s rôznymi parametrami a znižujú hodnotu celého klastra pre duplicitný obsah. Tento tester ich označí skôr, ako sa to stane.
Chýbajúci alebo prázdny súbor robots.txt jednoducho povoľuje všetky prehľadávania. Riziko je naopak: príliš široké zakázanie, ktoré blokuje stránky, ktoré chcete indexovať, alebo súbor sitemap deklarovaný v súbore robots.txt, ktorý vracia chybu.
Nie, načítame súbor robots.txt a súbory Sitemap, ktoré deklaruje, a potom z každej stránky prečítame vzorku adries URL. Neprehľadávame rekurzívne každú stránku, takže test je rýchly a nenačíta váš server.
Áno, tester je bezplatný a bez registrácie, programový prístup cez REST API je k dispozícii v platených spravovaných plánoch.
Pre vývojárov

Spustite ho vo vašom potrubí

Tento nástroj na testovanie funguje výhradne na serveri. Zadávate URL adresu, náš systém načíta a spracuje súbory robots.txt a deklarované sitemapy, a potom znovu zobrazí túto stránku s výsledkami. Programové REST API pre integráciu do CI/CD systémov a hromadné testovanie je dostupné v platených, spravovaných plánoch. Pozrite si plány →

API pre vývojárov

Používajte ho programovo

Každý nástroj je dostupný prostredníctvom jedného overeného rozhrania REST API v plánoch Pro a API, ktoré môžete pripojiť do svojho CI, CMS alebo dashboardu.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Získajte API kľúč → Merané ceny za hovor. Bezplatná úroveň pre interaktívny nástroj uvedený vyššie.
Skontrolujte každú stránku svojho webu, nie jednu za druhou
Pro pripojí Google Search Console, načíta každú stránku Google preskočil, každú nefunkčnú stránku a každú stránku, ktorá má nízke hodnotenie, a napíše, čo opraviť na každom z nich.
Pozrite sa, ako Pro funguje