Kriechen & Indexierung

robots.txt & Sitemap Tester

Geben Sie eine URL der Site ein. Wir holen ihre robots.txt und sitemap.xml von unserem Server, zeigen Ihnen die Crawl-Richtlinien und deklarierten Sitemaps und markieren die Query-String Sitemap URLs, die zu Duplikat-Inhalt-Degradationen führen.

Wie man einen Roboter.txt und sitemap.xml prüft

Vier Schritte, keine Anmeldung. Die ganze Prüfung läuft serverseitig.

1

Website-URL einfügen

Geben Sie die Startseiten-URL einer beliebigen Website ein. Den vollen Pfad zur robots.txt brauchen Sie nicht, denn wir leiten ihn vom Host ab.

2

Wir holen von unserem Server

Unser Server fordert robots.txt und jede deklarierte Sitemap.xml, damit der Test nicht von Ihrem Browser oder Ihrem eigenen Cache blockiert wird.

3

Lesen Sie die Richtlinien und Sitemaps

Überprüfen Sie die geparsten Benutzer-Agenten-Gruppen, die nicht zuzulassenden Regeln und die Liste der deklarierten Sitemaps, mit einem URL-Beispiel von jedem.

4

Fixieren, was markiert ist

Lösen Sie alle Abfrage-String Sitemap URLs oder blockiert-aber-indexierte Konflikte, bevor eine Suchmaschine die Duplikate degradiert.

Was dieser Tester überprüft

Die gleichen Geländer laufen wir intern, bevor wir eine einzelne Seite veröffentlichen.

📜

Crawl-Richtlinien

Parsiert jede Benutzer-Agent-Gruppe und ihre Allow / Disallow Regeln, so dass Sie genau sehen können, was blockiert ist.

🗺️

Gemeldete Sitemaps

Listet jede in robots.txt referenzierte Sitemap auf, holt jede und meldet ihre Art und URL-Anzahl.

⚠️

Abfrage-String aufblähen

Flags Query-String Sitemap URLs, die nahe-duplizieren Seiten und trigger duplizieren-Inhalt Degradierungen.

🔗

Gesundheit holen

Findet in robots.txt deklarierte Sitemaps, die Fehler liefern, weiterleiten oder Nicht-XML zurückgeben. Das sind stille Crawl-Killer.

Häufig gestellte Fragen

Eine einzelne Abfrage-String-URL in einer Sitemap kann Tausende von fast doppelten Seiten säen. Suchmaschinen kriechen sie, finden den gleichen Inhalt unter verschiedenen Parametern und degradieren den gesamten Cluster für doppelte Inhalte. Dieser Tester Flags sie, bevor das passiert.
Nein. Ein fehlender oder leerer robots.txt erlaubt einfach das Kriechen. Das Risiko ist das Gegenteil: ein überbreiter Ausfall, der Seiten, die Sie indiziert wollen, blockiert, oder eine in robots.txt deklarierte Sitemap, die einen Fehler zurückgibt.
Nein. Wir holen robots.txt und die Sitemaps, die es erklärt, und lesen dann eine Probe von URLs von jedem. Wir kriechen nicht rekursiv jede Seite, so dass der Test schnell ist und nicht laden Sie Ihren Server.
Ja, der Tester ist kostenlos ohne Anmeldung. Programmatischer Zugriff über eine REST API ist auf den kostenpflichtigen verwalteten Plänen verfügbar.
Für Entwickler

Führen Sie es in Ihrer Pipeline

Dieser Tester läuft komplett serverseitig. Sie senden eine URL, unser Backend ruft robots.txt und die deklarierten Sitemaps ab und analysiert sie, und rendert diese Seite dann mit den Ergebnissen neu. Eine programmatische REST-API für CI/CD und Massenprüfungen steht in den bezahlten Managed-Tarifen zur Verfügung. Siehe Pläne →

Entwickler-API

Programmatisch verwenden

Jedes Tool ist über eine einzige authentifizierte REST-API in den Tarifen Pro und API verfügbar. Binden Sie sie in Ihre CI, Ihr CMS oder Ihre Dashboards ein.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 OK
{ "ok": true, "result": { ... } }
Einen API-Schlüssel abrufen → Bewertet, Preis pro Anruf. Kostenlose Ebene für das interaktive Tool oben.
Prüfen Sie jede Seite Ihrer Website, nicht nur eine
Pro verbindet Google Search Console, ruft jede Seite ab, die Google übersprungen hat, jede defekte Seite und jede schlecht rankende Seite, und schreibt, was auf jeder zu beheben ist.
So funktioniert Pro