Krypning och indexering

robots.txt & Sitemap Tester

Ange alla webbplatser URL. Vi hämtar dess robots.txt och sitemap.xml från vår server, visar dig krypdirektiv och deklarerade sitemaps, och flagga frågesträng webbplatsmap URLs som orsakar dubbletter innehåll demotioner.

Hur man testar en robots.txt och sitemap.xml

Fyra steg, ingen registrering.

1

Klistra in webbplatsens webbadress

Ange URL:en till startsidan för den webbplats du vill analysera. Du behöver inte ange hela sökvägen till robots.txt-filen, eftersom vi kan härleda den från webbplatsens domän.

2

Vi hämtar från vår server

Vår server begär robots.txt och varje deklarerad sitemap.xml, så testet blockeras inte av din webbläsare eller din egen cache.

3

Läs direktiven och webbplatskartorna

Granska de uttolkade användaragentgrupperna, avvisa regler och listan över deklarerade sitemaps, med ett URL-prov från varje.

4

Fixa det som är flaggat

Lös eventuella söksträng webbplatskarta URL:er eller blockerade men indexerade konflikter innan en sökmotor degraderar dubbletter.

Vad denna testare kontrollerar

Samma skyddsräcken kör vi internt innan vi publicerar en enda sida.

📜

Direktiv om sprickbildning

Parserar varje användaragentgrupp och dess Tillåt / Avsägelse regler så att du kan se exakt vad som är blockerat.

🗺️

Deklarerade webbplatskartor

Listar varje sitemap refereras i robots.txt, hämtar varje, och rapporterar sin typ och URL-räkning.

⚠️

Fråga-strängssvaghet

Flaggs frågesträng sitemap URLs som frö nära duplicera sidor och utlösa dubblett innehåll demotioner.

🔗

Hämta hälsa

Identifierar sitemaps som anges i robots.txt och som innehåller fel, omdirigeringar eller som returnerar data som inte är i XML-format. Dessa kan stoppa indexeringen av webbplatsen utan att ge någon varning.

Vanliga frågor

En enda webbadress för frågesträngar i en webbplatskarta kan så tusentals nära duplicerade sidor. Sökmotorer kryper dem, hitta samma innehåll under olika parametrar, och degradera hela kluster för duplicerat innehåll. Testaren flaggar dem innan det händer.
Nej. En saknas eller tom robots.txt tillåter helt enkelt alla krypande. Risken är motsatsen: en over-broad inte tillåta att blockerar sidor du vill indexerad, eller en sitemap deklareras i robots.txt som returnerar ett fel.
Nej. Vi hämtar robots.txt och de sitemaps som den förklarar, och läser sedan ett urval av webbadresser från varje. Vi kryper inte rekursivt varje sida, så testet är snabbt och kommer inte att ladda din server.
Ja, testaren är gratis utan registrering. Programmatisk åtkomst via ett REST API finns tillgänglig på de betalda handlagda planerna.
För utvecklare

Kör den i din pipeline

Denna testfunktion körs helt på serversidan. Du anger en URL, vår backend hämtar och analyserar robots.txt-filen samt de angivna sitemaps-filerna, och återskapar sedan den här sidan med resultaten. Ett programmatiskt REST API för CI/CD och massgranskning finns tillgängligt i de betalda, hanterade abonnemangen. Se planer →

Utvecklar- API

Använd den programmatiskt

Alla verktyg är tillgängliga via ett enda, autentiserat REST API i Pro- och API-abonnemangen. Integrera dem i dina CI-system, CMS-plattformar eller dashboards.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Hämta en API- nyckel → Mätt pris per samtal. Gratis nivå för det interaktiva verktyget ovan.
Kontrollera varje sida på din webbplats, inte en i taget
Pro ansluter Google Search Console, hämtar varje sida Google hoppade över, varje trasig sida och varje sida som rankas lågt, och skriver vad du ska fixa på varje.
Se hur Pro fungerar