🤖 Překročení a indexace

roboty.txt & Sitemap Tester

Zadejte jakoukoliv adresu URL stránky. Přineseme její roboty.txt a sitemap.xml z našeho serveru, ukážeme vám směrnice pro plazení a deklarované stránky, a vlajku dotaz-string sitemap URL adresy, které způsobují dvojí obsah demotions.

Jak testovat roboty.txt a sitemap.xml

Čtyři kroky, žádné zápisy, celý šek běží na straně serveru.

Vložit URL stránky

Zadejte jakoukoliv domovskou stránku URL. Nepotřebujete plnou cestu k robotům.txt??? odvozujeme ji od hostitele.

Přinášíme z našeho serveru

Náš server požaduje roboty.txt a každý deklarovaný sitemap.xml, takže test není blokován vaším prohlížečem nebo vlastní cache.

Přečtěte si směrnice a stránky

Prohlédněte si skupiny parsed uživatelsky-agent, pravidla zákazu a seznam deklarovaných stránek, s URL vzorkem z každé.

Opravte, co je označené.

Vyřešit všechny adresy Sitemap dotazu-string nebo zablokované konflikty dříve, než vyhledávač degraduje duplikáty.

Co tester kontroluje

Stejné zábradlí, které vedeme interně, než vydáme jednu stránku.

📜

Směrnice o plazích

Provede analýzu každé skupiny uživatelů a jejích pravidel povolení / zákazu, abyste viděli přesně to, co je zablokováno.

🗺️

Deklarované mapy stránek

Vypíše všechny sitemap uvedené v robotech.txt, každý vyzvedne a nahlásí svůj typ a URL počet.

⚠️

Plášť s pouty

Vlajky dotaz-string sitemap URL adresy, které semínko téměř-duplicate stránky a spustit duplikát-obsah demotions.

🔗

Přivést zdraví

Úlovky sitemaps prohlášeny v robotech.txt, že chyba, přesměrování, nebo vrátit non-XML? tiché vrahy plazit.

Často kladené otázky

Jediná URL dotaz-string v sitemap může set tisíce téměř-duplicate stránek. Hledat motory plazit je, najít stejný obsah pod různými parametry, a demote celý cluster pro duplikát obsahu. Tento tester je vlaje před tím, než se to stane.

Ne. Chybějící nebo prázdné roboty.txt jednoduše umožňují plazit se. Riziko je opak: přes-zahraničí zakázat, že blokuje stránky chcete indexovat, nebo sitemap prohlášený v robots.txt, který vrací chybu.

Ne. Přinášíme roboty.txt a stránky, které prohlašuje, pak si přečtěte vzorek URL z každé. Nerekurzivně se plazíme každou stránku, takže test je rychlý a nenačte váš server.

Ano, tester je zdarma bez přihlášení. Programmatic přístup přes REST API je k dispozici na placené řízené plány.

⚙️ Pro vývojáře

Napoj se na to.

Tento tester běží zcela server-side?? Odešlete URL, náš backend aportes a parses robots.txt a deklarované Sitemaps, pak re-renders tuto stránku s výsledky. Programmatic REST API pro CI/CD a hromadné audit je k dispozici na placené řízené plány. Viz plány →