🤖 Kruip & indexering

robots.txt & Sitemap Tester

Voer een site URL. We halen zijn robots.txt en sitemap.xml van onze server, tonen u de kruip richtlijnen en verklaarde sitemaps, en markeren de query-string sitemap URL's die dubbele-content demoties veroorzaken.

Hoe test ik een robot.txt en sitemap.xml

Vier stappen, geen aanmelding, de hele controle loopt aan de server kant.

Plakken van de site-URL

Voer de homepage URL van een site in. U hoeft niet het volledige pad naar robots.txt.Wij halen het uit de host.

We halen van onze server

Onze server vraagt robots.txt en elke aangegeven sitemap.xml, zodat de test niet wordt geblokkeerd door uw browser of uw eigen cache.

Lees de richtlijnen en sitemaps

Bekijk de ontleed gebruikers-agent groepen, de regels en de lijst van aangegeven sitemaps, met een URL-monster van elk.

Repareren wat gemarkeerd is

Oplossen van een query-string sitemap URL's of geblokkeerd-maar-geindexeerde conflicten voordat een zoekmachine de duplicaten degradeert.

Wat controleert deze tester?

Dezelfde vangrails die we intern uitvoeren voordat we een enkele pagina publiceren.

📜

Kruiprichtlijnen

Ontleedt elke gebruikers-agent groep en zijn Toestaan / Uitstellen regels zodat u precies kunt zien wat is geblokkeerd.

🗺️

Aangegeven sitemaps

Geeft elke sitemap die in robots.txt wordt genoemd, haalt elk op en rapporteert het type en aantal URL's.

⚠️

Zoektekenreeks opgeblazen

Vlaggen query-string sitemap URL's die pagina's dicht bij dupliceren en dupliceren-content demoties activeren.

🔗

Gezondheid ophalen

Vang sitemaps verklaard in robots.txt die fout, redirect, of terug niet-XML.. stille kruip moordenaars.

Veelgestelde vragen

Een enkele query-string URL in een sitemap kan duizenden bijna-dupliceren pagina's starten. Zoekmachines kruipen ze, vinden dezelfde inhoud onder verschillende parameters, en degraderen het hele cluster voor dubbele inhoud. Deze tester vlaggetjes ze voordat dat gebeurt.

Nee. Een ontbrekende of lege robots.txt laat gewoon alle kruipen toe. Het risico is het tegenovergestelde: een over-broad dismount die pagina's blokkeert die u wilt geïndexeerd, of een sitemap die is aangegeven in robots.txt die een fout geeft.

Nee. We halen robots.txt en de sitemaps die het verklaart, dan lezen we een voorbeeld van URL's van elk. We kruipen niet recursief elke pagina, dus de test is snel en zal niet laden uw server.

Ja, de tester is gratis zonder aanmelding. Programmatische toegang via een REST API is beschikbaar op de betaalde beheerde plannen.

⚙️ Voor ontwikkelaars

Start het in je pijplijn.

Deze tester draait volledig server-side.. u een URL, onze backend fetches en parses robots.txt en de aangegeven sitemaps, dan her-rendert deze pagina met de resultaten. Een programmamatische REST API voor CI / CD en bulk auditing is beschikbaar op de betaalde beheerde plannen. Zie plannen →