🤖 Crawl & indexation

robots.txt & Plan du site Tester

Entrez n'importe quelle URL du site. Nous récupérons ses robots.txt et sitemap.xml de notre serveur, vous montrons les directives de doublon et les plans de site déclarés, et signalons les URLs de sitemap qui provoquent des démotions de contenu en double.

Comment tester un robot.txt et sitemap.xml

Quatre étapes, pas d'inscription.

1

Coller l'URL du site

Entrez l'URL de n'importe quel site. Vous n'avez pas besoin du chemin complet vers robots.txt — nous le déduisons de l'hôte.

2

Nous allons chercher à partir de notre serveur

Notre serveur demande robots.txt et chaque sitemap.xml déclaré, de sorte que le test n'est pas bloqué par votre navigateur ou votre propre cache.

3

Lisez les directives et les plans du site

Consultez les groupes parsés utilisateur-agent, les règles de refus et la liste des plans de site déclarés, avec un échantillon d'URL de chaque.

4

Corriger ce qui est signalé

Résoudre toute URL de sitemap de requête ou tout conflit bloqué mais indexé avant qu'un moteur de recherche ne démote les duplicatas.

Ce que ce testeur vérifie

Les mêmes garde-corps que nous courons en interne avant de publier une seule page.

📜

Directives générales

Parses chaque groupe utilisateur-agent et ses règles Autoriser / Interdire afin que vous puissiez voir exactement ce qui est bloqué.

🗺️

Plans de site déclarés

Liste chaque plan de site référencé dans robots.txt, récupère chacun, et rapporte son type et son nombre d'URL.

⚠️

Bloat de corbeille

Diffuse les URLs de la carte du site qui sement des pages presque dupliquées et déclenchent des démotions de contenu dupliqué.

🔗

Renseignez-vous sur la santé

Attrape les plans de site déclarés dans robots.txt que l'erreur, rediriger, ou retourner non-XML — tueurs silencieux de rampe.

Foire aux questions

Une URL unique dans un sitemap peut ensemencer des milliers de pages presque dupliquées. Les moteurs de recherche les rampent, trouvent le même contenu sous différents paramètres, et démote l'ensemble du cluster pour duplicata. Ce testeur les signe avant que cela ne se produise.
Non. Un robot manquant ou vide.txt permet simplement tout ramper. Le risque est le contraire : un sur-large interdit de bloquer des pages que vous voulez indexées, ou un plan du site déclaré dans robots.txt qui renvoie une erreur.
Non. Nous allons chercher robots.txt et les plans du site qu'il déclare, puis lisez un échantillon d'URL de chaque. Nous ne rampons pas récursivement chaque page, donc le test est rapide et ne chargera pas votre serveur.
Oui, le testeur est gratuit sans inscription. L'accès programmatique via une API REST est disponible sur les plans gérés payants.
⚙️ Pour les développeurs

Lancez-le dans votre pipeline

Ce testeur fonctionne entièrement côté serveur — vous soumettez une URL, notre moteur de recherche et analyse robots.txt et les plans de site déclarés, puis re-rend cette page avec les résultats. Une API programmatique REST pour CI/CD et un audit en vrac sont disponibles sur les plans gérés payés. Voir plans →