🤖 Crawl & indexação

Testador de mapa de sites de robots.txt

Digite qualquer URL do site. Obtenhamos seus robots.txt e sitemap.xml do nosso servidor, mostre as directivas de rastreio e mapas de sites declarados e sinalizamos os URLs de mapas de sites de query-string que causam demoções de conteúdo-duplicado.

Como testar um robot.txt e sitemap.xml

Quatro passos, sem inscrição.

1

Pegar a URL do site

Digite a URL de qualquer site. Você não precisa do caminho completo para robots.txt — nós derivamos do host.

2

Nós recebemos do nosso servidor

Nosso servidor solicita robots.txt e cada sitemap.xml declarado, assim o teste não está bloqueado pelo seu navegador ou seu próprio cache.

3

Leia as directivas e mapas de sites

Revisar os grupos de agentes de usuário analisados, desativar as regras e a lista de mapas de sites declarados, com uma amostra de URL de cada um.

4

Fixe o que está marcado

Resolver quaisquer URLs de sitemap de query-string ou bloqueados-mas-indexados conflitos antes de um motor de busca demonstrar os duplicados.

O que este testador verifica

Os mesmos guarda-relões que nós executamos internamente antes de publicar uma única página.

📜

Directivas sobre o engano

Analiza cada grupo de utilizadores e suas regras Permitir / Desautorizar para que você possa ver exatamente o que está bloqueado.

🗺️

Mapas de sites declarados

Lista cada sitemap referenciado em robots.txt, recupera cada um e reporta seu tipo e conta URL.

⚠️

Bloat de cordão de consulta

As bandeiras query-string sitemap URLs que sementes páginas próximas duplica e desencadear demoções duplicadas-content.

🔗

Obtenção de saúde

Cattures sitemaps declarados em robots.txt esse erro, redirecionar ou devolver não-XML — assassinos silenciosos de rastreamento.

Perguntas mais frequentes

Uma única URL de query-string em um sitemap pode semear milhares de páginas de quase duplicado. Motores de busca rastrea-los, encontrar o mesmo conteúdo sob diferentes parâmetros, e demover todo o cluster para conteúdo duplicado. Este tester marca-los antes que isso aconteça.
Não. Um robô.txt faltante ou vazio permite simplesmente todos os rastreamentos. O risco é o oposto: um over-broad desallow que blocos páginas que você quer indexado, ou um sitemap declarado em robots.txt que retorna um erro.
Não. Nós obtemos robots.txt e os mapas de site que ele declara, então lemos uma amostra de URLs de cada. Nós não rastreamos recursivamente cada página, então o teste é rápido e não vai carregar o seu servidor.
Sim, o testador é gratuito sem inscrição. O acesso programático através de uma API REST está disponível nos planos gerenciados pagos.
⚙️ Para desenvolvedores

Corre-o no teu condutor

Este testador executa completamente o lado do servidor — você envia uma URL, nosso backend obtém e analisa robots.txt e os mapas de site declarados, então reenvia esta página com os resultados. Uma API programática REST para CI/CD e auditoria em massa está disponível nos planos gerenciados pagos. Ver planos →