🤖 & Indización de crawl

robots.txt y sitemap Tester

Introduzca cualquier URL del sitio. Recopilamos sus robots.txt y sitemap.xml de nuestro servidor, le mostramos las directivas de rastreo y los mapas de sitio declarados, y marcamos las URLs de mapa de sitio de consulta-cadena que causan demociones de contenido duplicado.

Cómo probar un robots.txt y sitemap.xml

Cuatro pasos, sin registro.

1

Pegar el URL del sitio

Introduzca la URL de cualquier página de inicio del sitio. No necesita la ruta completa a robots.txt — la derivamos del host.

2

Obtenemos desde nuestro servidor

Nuestro servidor solicita robots.txt y cada sitemap.xml declarado, por lo que la prueba no está bloqueada por su navegador o su propia caché.

3

Lea las directivas y mapas de sitio

Revisa los grupos analizados de usuarios-agentes, las reglas de no permitir y la lista de mapas declarados, con una muestra de URL de cada uno.

4

Arregla lo que está marcado

Resolver cualquier URL de mapa de sitio de consulta-cadena o conflictos bloqueados pero indizados antes de que un motor de búsqueda degrada los duplicados.

Lo que este comprobador comprueba

Las mismas barandillas que corremos internamente antes de publicar una sola página.

📜

Directivas sobre el atraco

Analiza cada grupo de usuarios-agentes y sus reglas Permitir / Deshabilitar para que pueda ver exactamente lo que está bloqueado.

🗺️

Mapas declarados del sitio

Lista cada mapa de sitio referenciado en robots.txt, se obtiene cada uno, e informa de su tipo y cuenta de URL.

⚠️

Bloat de cadena de consulta

Marca las URL de mapa de sitio de la cadena de consulta que siembran páginas cercanas a duplicado y desencadenan demociones de contenido duplicado.

🔗

Obtener salud

Captura mapas de sitios declarados en robots.txt que error, redirigir o devolver no-XML — silenciosos asesinos de rastreo.

Preguntas frecuentes

Una sola URL de la cadena de consulta en un mapa de sitio puede sembrar miles de páginas casi duplicadas. Los motores de búsqueda los arrastran, encuentran el mismo contenido bajo diferentes parámetros y degradan todo el cluster para obtener contenido duplicado. Este testador los marca antes de que eso suceda.
No. Un robot perdido o vacío.txt simplemente permite todo el rastreo. El riesgo es el contrario: una desautorización de sobre-amplio que bloquea las páginas que desea indexar, o un mapa de sitio declarado en robots.txt que devuelve un error.
No. Nosotros buscamos robots.txt y los mapas de sitio que declara, luego leemos una muestra de URLs de cada uno. No rastreamos recursivamente cada página, por lo que la prueba es rápida y no cargará su servidor.
Sí, el probador es gratuito sin registro. El acceso programático a través de una API REST está disponible en los planes gestionados de pago.
⚙️ Para desarrolladores

Ejecutalo en tu tubería

Este testador ejecuta completamente el lado servidor — usted envía una URL, nuestro motor busca y analiza robots.txt y los mapas declarados, luego vuelve a renderizar esta página con los resultados. Una API de REST programática para CI/CD y auditoría a granel está disponible en los planes gestionados de pago. Ver planes →