robots.txt y sitemap Tester
Introduzca cualquier URL del sitio. Recopilamos sus robots.txt y sitemap.xml de nuestro servidor, le mostramos las directivas de rastreo y los mapas de sitio declarados, y marcamos las URLs de mapa de sitio de consulta-cadena que causan demociones de contenido duplicado.
Cómo probar un robots.txt y sitemap.xml
Cuatro pasos, sin registro.
Pegar el URL del sitio
Introduce la URL de la página de inicio de cualquier sitio. No necesitas la ruta completa a robots.txt, porque la derivamos del host.
Obtenemos desde nuestro servidor
Nuestro servidor solicita robots.txt y cada sitemap.xml declarado, por lo que la prueba no está bloqueada por su navegador o su propia caché.
Lea las directivas y mapas de sitio
Revisa los grupos analizados de usuarios-agentes, las reglas de no permitir y la lista de mapas declarados, con una muestra de URL de cada uno.
Arregla lo que está marcado
Resolver cualquier URL de mapa de sitio de consulta-cadena o conflictos bloqueados pero indizados antes de que un motor de búsqueda degrada los duplicados.
Lo que este comprobador comprueba
Las mismas barandillas que corremos internamente antes de publicar una sola página.
Directivas sobre el atraco
Analiza cada grupo de usuarios-agentes y sus reglas Permitir / Deshabilitar para que pueda ver exactamente lo que está bloqueado.
Mapas declarados del sitio
Lista cada mapa de sitio referenciado en robots.txt, se obtiene cada uno, e informa de su tipo y cuenta de URL.
Bloat de cadena de consulta
Marca las URL de mapa de sitio de la cadena de consulta que siembran páginas cercanas a duplicado y desencadenan demociones de contenido duplicado.
Obtener salud
Detecta sitemaps declarados en robots.txt que dan error, redirigen o devuelven algo que no es XML. Son asesinos silenciosos del rastreo.
Preguntas frecuentes
Ejecutalo en tu tubería
Este probador se ejecuta por completo en el servidor. Envías una URL, nuestro backend descarga y analiza robots.txt y los sitemaps declarados, y vuelve a mostrar esta página con los resultados. Hay una API REST por programación para CI/CD y auditorías masivas disponible en los planes gestionados de pago. Ver planes →
Úsalo programáticamente
Todas las herramientas están disponibles mediante una única API REST autenticada en los planes Pro y API. Conéctala a tu CI, tu CMS o tus paneles.