robots.txt & Plan du site Tester
Entrez n'importe quelle URL du site. Nous récupérons ses robots.txt et sitemap.xml de notre serveur, vous montrons les directives de doublon et les plans de site déclarés, et signalons les URLs de sitemap qui provoquent des démotions de contenu en double.
Comment tester un robot.txt et sitemap.xml
Quatre étapes, pas d'inscription.
Coller l'URL du site
Saisissez l'URL de la page d'accueil de n'importe quel site. Pas besoin du chemin complet vers robots.txt, nous le déduisons de l'hôte.
Nous allons chercher à partir de notre serveur
Notre serveur demande robots.txt et chaque sitemap.xml déclaré, de sorte que le test n'est pas bloqué par votre navigateur ou votre propre cache.
Lisez les directives et les plans du site
Consultez les groupes parsés utilisateur-agent, les règles de refus et la liste des plans de site déclarés, avec un échantillon d'URL de chaque.
Corriger ce qui est signalé
Résoudre toute URL de sitemap de requête ou tout conflit bloqué mais indexé avant qu'un moteur de recherche ne démote les duplicatas.
Ce que ce testeur vérifie
Les mêmes garde-corps que nous courons en interne avant de publier une seule page.
Directives générales
Parses chaque groupe utilisateur-agent et ses règles Autoriser / Interdire afin que vous puissiez voir exactement ce qui est bloqué.
Plans de site déclarés
Liste chaque plan de site référencé dans robots.txt, récupère chacun, et rapporte son type et son nombre d'URL.
Bloat de corbeille
Diffuse les URLs de la carte du site qui sement des pages presque dupliquées et déclenchent des démotions de contenu dupliqué.
Renseignez-vous sur la santé
Repère les sitemaps déclarés dans robots.txt qui renvoient une erreur, redirigent ou retournent du non-XML. Ce sont des tueurs d'exploration silencieux.
Foire aux questions
Lancez-le dans votre pipeline
Ce testeur s'exécute entièrement côté serveur. Vous soumettez une URL, notre backend récupère et analyse robots.txt et les sitemaps déclarés, puis réaffiche cette page avec les résultats. Une API REST par programmation pour la CI/CD et les audits en masse est disponible sur les offres gérées payantes. Voir plans →
Utiliser le programme
Chaque outil est disponible via une seule API REST authentifiée sur les offres Pro et API. Branchez-la à votre CI, votre CMS ou vos tableaux de bord.