Testador de mapa de sites de robots.txt
Digite qualquer URL do site. Obtenhamos seus robots.txt e sitemap.xml do nosso servidor, mostre as directivas de rastreio e mapas de sites declarados e sinalizamos os URLs de mapas de sites de query-string que causam demoções de conteúdo-duplicado.
Como testar um robot.txt e sitemap.xml
Quatro passos, sem inscrição.
Pegar a URL do site
Digite a URL da página inicial de qualquer site. Você não precisa do caminho completo até o robots.txt, porque o derivamos do host.
Nós recebemos do nosso servidor
Nosso servidor solicita robots.txt e cada sitemap.xml declarado, assim o teste não está bloqueado pelo seu navegador ou seu próprio cache.
Leia as directivas e mapas de sites
Revisar os grupos de agentes de usuário analisados, desativar as regras e a lista de mapas de sites declarados, com uma amostra de URL de cada um.
Fixe o que está marcado
Resolver quaisquer URLs de sitemap de query-string ou bloqueados-mas-indexados conflitos antes de um motor de busca demonstrar os duplicados.
O que este testador verifica
Os mesmos guarda-relões que nós executamos internamente antes de publicar uma única página.
Directivas sobre o engano
Analiza cada grupo de utilizadores e suas regras Permitir / Desautorizar para que você possa ver exatamente o que está bloqueado.
Mapas de sites declarados
Lista cada sitemap referenciado em robots.txt, recupera cada um e reporta seu tipo e conta URL.
Bloat de cordão de consulta
As bandeiras query-string sitemap URLs que sementes páginas próximas duplica e desencadear demoções duplicadas-content.
Obtenção de saúde
Detecta sitemaps declarados no robots.txt que dão erro, redirecionam ou retornam algo que não é XML. São assassinos silenciosos do rastreamento.
Perguntas mais frequentes
Corre-o no teu condutor
Este testador roda inteiramente no servidor. Você envia uma URL, o nosso backend busca e analisa o robots.txt e os sitemaps declarados e exibe esta página novamente com os resultados. Há uma API REST por programação para CI/CD e auditorias em massa disponível nos planos gerenciados pagos. Ver planos →
Use-o programáticamente
Todas as ferramentas estão disponíveis por meio de uma única API REST autenticada nos planos Pro e API. Conecte-a ao seu CI, ao seu CMS ou aos seus painéis.