🤖 Krypning och indexering

robots.txt & Sitemap Tester

Ange alla webbplatser URL. Vi hämtar dess robots.txt och sitemap.xml från vår server, visar dig krypdirektiv och deklarerade sitemaps, och flagga frågesträng webbplatsmap URLs som orsakar dubbletter innehåll demotioner.

Hur man testar en robots.txt och sitemap.xml

Fyra steg, ingen registrering.

Klistra in webbplatsens webbadress

Ange någon webbplats hemsida URL. Du behöver inte den fullständiga vägen till robots.txt - vi härleder det från värden.

Vi hämtar från vår server

Vår server begär robots.txt och varje deklarerad sitemap.xml, så testet blockeras inte av din webbläsare eller din egen cache.

Läs direktiven och webbplatskartorna

Granska de uttolkade användaragentgrupperna, avvisa regler och listan över deklarerade sitemaps, med ett URL-prov från varje.

Fixa det som är flaggat

Lös eventuella söksträng webbplatskarta URL:er eller blockerade men indexerade konflikter innan en sökmotor degraderar dubbletter.

Vad denna testare kontrollerar

Samma skyddsräcken kör vi internt innan vi publicerar en enda sida.

📜

Direktiv om sprickbildning

Parserar varje användaragentgrupp och dess Tillåt / Avsägelse regler så att du kan se exakt vad som är blockerat.

🗺️

Deklarerade webbplatskartor

Listar varje sitemap refereras i robots.txt, hämtar varje, och rapporterar sin typ och URL-räkning.

⚠️

Fråga-strängssvaghet

Flaggs frågesträng sitemap URLs som frö nära duplicera sidor och utlösa dubblett innehåll demotioner.

🔗

Hämta hälsa

Fångar sitemaps deklareras i robots.txt som fel, omdirigera, eller returnera icke-XML - tysta kryp mördare.

Vanliga frågor

En enda webbadress för frågesträngar i en webbplatskarta kan så tusentals nära duplicerade sidor. Sökmotorer kryper dem, hitta samma innehåll under olika parametrar, och degradera hela kluster för duplicerat innehåll. Testaren flaggar dem innan det händer.

Nej. En saknas eller tom robots.txt tillåter helt enkelt alla krypande. Risken är motsatsen: en over-broad inte tillåta att blockerar sidor du vill indexerad, eller en sitemap deklareras i robots.txt som returnerar ett fel.

Nej. Vi hämtar robots.txt och de sitemaps som den förklarar, och läser sedan ett urval av webbadresser från varje. Vi kryper inte rekursivt varje sida, så testet är snabbt och kommer inte att ladda din server.

Ja, testaren är gratis utan registrering. Programmatisk åtkomst via ett REST API finns tillgänglig på de betalda handlagda planerna.

⚙️ För utvecklare

Kör den i din pipeline

Denna testare kör helt server-sida - du skickar in en URL, vår bakgrundsguide hämtar och tolkar robots.txt och de deklarerade sitemaps, sedan återsänder denna sida med resultaten. Ett programmatiskt REST API för CI/CD och bulk granskning finns på de betalda hanterade planer. Se planer →