🤖 Kriechen & Indexierung

robots.txt & Sitemap Tester

Geben Sie eine URL der Site ein. Wir holen ihre robots.txt und sitemap.xml von unserem Server, zeigen Ihnen die Crawl-Richtlinien und deklarierten Sitemaps und markieren die Query-String Sitemap URLs, die zu Duplikat-Inhalt-Degradationen führen.

Wie man einen Roboter.txt und sitemap.xml prüft

Vier Schritte, keine Anmeldung. Die ganze Prüfung läuft serverseitig.

Website-URL einfügen

Geben Sie die Homepage-URL einer beliebigen Website ein. Sie benötigen nicht den vollständigen Pfad zu robots.txt – wir leiten ihn vom Host ab.

Wir holen von unserem Server

Unser Server fordert robots.txt und jede deklarierte Sitemap.xml, damit der Test nicht von Ihrem Browser oder Ihrem eigenen Cache blockiert wird.

Lesen Sie die Richtlinien und Sitemaps

Überprüfen Sie die geparsten Benutzer-Agenten-Gruppen, die nicht zuzulassenden Regeln und die Liste der deklarierten Sitemaps, mit einem URL-Beispiel von jedem.

Fixieren, was markiert ist

Lösen Sie alle Abfrage-String Sitemap URLs oder blockiert-aber-indexierte Konflikte, bevor eine Suchmaschine die Duplikate degradiert.

Was dieser Tester überprüft

Die gleichen Geländer laufen wir intern, bevor wir eine einzelne Seite veröffentlichen.

📜

Crawl-Richtlinien

Parsiert jede Benutzer-Agent-Gruppe und ihre Allow / Disallow Regeln, so dass Sie genau sehen können, was blockiert ist.

🗺️

Gemeldete Sitemaps

Listet jede in robots.txt referenzierte Sitemap auf, holt jede und meldet ihre Art und URL-Anzahl.

⚠️

Abfrage-String aufblähen

Flags Query-String Sitemap URLs, die nahe-duplizieren Seiten und trigger duplizieren-Inhalt Degradierungen.

🔗

Gesundheit holen

Fangt Sitemaps deklariert in robots.txt, dass Fehler, Weiterleitung oder Rückgabe nicht-XML - stille Crawl Killer.

Häufig gestellte Fragen

Eine einzelne Abfrage-String-URL in einer Sitemap kann Tausende von fast doppelten Seiten säen. Suchmaschinen kriechen sie, finden den gleichen Inhalt unter verschiedenen Parametern und degradieren den gesamten Cluster für doppelte Inhalte. Dieser Tester Flags sie, bevor das passiert.

Nein. Ein fehlender oder leerer robots.txt erlaubt einfach das Kriechen. Das Risiko ist das Gegenteil: ein überbreiter Ausfall, der Seiten, die Sie indiziert wollen, blockiert, oder eine in robots.txt deklarierte Sitemap, die einen Fehler zurückgibt.

Nein. Wir holen robots.txt und die Sitemaps, die es erklärt, und lesen dann eine Probe von URLs von jedem. Wir kriechen nicht rekursiv jede Seite, so dass der Test schnell ist und nicht laden Sie Ihren Server.

Ja, der Tester ist kostenlos ohne Anmeldung. Programmatischer Zugriff über eine REST API ist auf den kostenpflichtigen verwalteten Plänen verfügbar.

⚙️ Für Entwickler

Führen Sie es in Ihrer Pipeline

Dieser Tester läuft komplett serverseitig – Sie senden eine URL, unser Backend holt und parsiert robots.txt und die erklärten Sitemaps, dann re-rendert diese Seite mit den Ergebnissen. Eine programmatische REST API für CI/CD und Massenaudit ist auf den bezahlten verwalteten Plänen verfügbar. Siehe Pläne →