robots.txt & Sitemap Tester
Geben Sie eine URL der Site ein. Wir holen ihre robots.txt und sitemap.xml von unserem Server, zeigen Ihnen die Crawl-Richtlinien und deklarierten Sitemaps und markieren die Query-String Sitemap URLs, die zu Duplikat-Inhalt-Degradationen führen.
Wie man einen Roboter.txt und sitemap.xml prüft
Vier Schritte, keine Anmeldung. Die ganze Prüfung läuft serverseitig.
Website-URL einfügen
Geben Sie die Startseiten-URL einer beliebigen Website ein. Den vollen Pfad zur robots.txt brauchen Sie nicht, denn wir leiten ihn vom Host ab.
Wir holen von unserem Server
Unser Server fordert robots.txt und jede deklarierte Sitemap.xml, damit der Test nicht von Ihrem Browser oder Ihrem eigenen Cache blockiert wird.
Lesen Sie die Richtlinien und Sitemaps
Überprüfen Sie die geparsten Benutzer-Agenten-Gruppen, die nicht zuzulassenden Regeln und die Liste der deklarierten Sitemaps, mit einem URL-Beispiel von jedem.
Fixieren, was markiert ist
Lösen Sie alle Abfrage-String Sitemap URLs oder blockiert-aber-indexierte Konflikte, bevor eine Suchmaschine die Duplikate degradiert.
Was dieser Tester überprüft
Die gleichen Geländer laufen wir intern, bevor wir eine einzelne Seite veröffentlichen.
Crawl-Richtlinien
Parsiert jede Benutzer-Agent-Gruppe und ihre Allow / Disallow Regeln, so dass Sie genau sehen können, was blockiert ist.
Gemeldete Sitemaps
Listet jede in robots.txt referenzierte Sitemap auf, holt jede und meldet ihre Art und URL-Anzahl.
Abfrage-String aufblähen
Flags Query-String Sitemap URLs, die nahe-duplizieren Seiten und trigger duplizieren-Inhalt Degradierungen.
Gesundheit holen
Findet in robots.txt deklarierte Sitemaps, die Fehler liefern, weiterleiten oder Nicht-XML zurückgeben. Das sind stille Crawl-Killer.
Häufig gestellte Fragen
Führen Sie es in Ihrer Pipeline
Dieser Tester läuft komplett serverseitig. Sie senden eine URL, unser Backend ruft robots.txt und die deklarierten Sitemaps ab und analysiert sie, und rendert diese Seite dann mit den Ergebnissen neu. Eine programmatische REST-API für CI/CD und Massenprüfungen steht in den bezahlten Managed-Tarifen zur Verfügung. Siehe Pläne →
Programmatisch verwenden
Jedes Tool ist über eine einzige authentifizierte REST-API in den Tarifen Pro und API verfügbar. Binden Sie sie in Ihre CI, Ihr CMS oder Ihre Dashboards ein.