🤖 Crawl & indicizzazione

robots.txt & Mappa del sito Tester

Inserisci qualsiasi URL del sito. Prendiamo i suoi robots.txt e sitemap.xml dal nostro server, ti mostriamo le direttive di strisciamento e le sitemap dichiarate, e segnaliamo gli URL della mappa del sito che causano demozioni di contenuti duplicati.

Come testare un robots.txt e sitemap.xml

Quattro passi, niente iscrizioni, tutto il controllo funziona sul lato server.

Incolla l'URL del sito

Inserisci URL della homepage di qualsiasi sito. Non hai bisogno del percorso completo per robots.txt..., lo traiamo dall'host.

Prendiamo dal nostro server

Il nostro server richiede robots.txt e ogni sitemap.xml dichiarato, quindi il test non viene bloccato dal tuo browser o dalla tua cache.

Leggi le direttive e le sitemap

Rivedere i gruppi di utenti-agente analizzati, non consentire le regole e l'elenco delle sitemap dichiarate, con un campione di URL da ciascuno.

Correggi ciò che è segnalato

Risolvere qualsiasi URL di query-string sitemap o conflitti bloccati ma indicizzati prima che un motore di ricerca demotizzi i duplicati.

Che cosa questo tester controlla

Gli stessi guardrail che si corre internamente prima di pubblicare una singola pagina.

📜

Direttive di lotta

Analizza ogni gruppo utente-agente e le sue regole Consenti / disabilita in modo da poter vedere esattamente ciò che è bloccato.

🗺️

Sitemap dichiarate

Elenca ogni mappa del sito referenziato in robots.txt, prende ciascuno, e riporta il suo tipo e URL conteggio.

⚠️

Bloat della corda di query

Flags query-string sitemap URL che seminano pagine quasi duplicate e innescano demozioni a doppio contenuto.

🔗

Salute

Sitemap di cattura dichiarate in robots.txt che errore, reindirizzare, o restituire non-XML killer di striscia silenziosa.

Domande frequenti

Un URL di una singola stringa di query in una mappa del sito può seminare migliaia di pagine quasi duplicate. I motori di ricerca li strisciano, trovano lo stesso contenuto sotto parametri diversi e demote l'intero cluster per il contenuto duplicato. Questo tester li segnala prima che accada.

No. Un robots.txt mancante o vuoto permette semplicemente di strisciare. Il rischio è il contrario: un over-broad non consente che blocchi le pagine che si desidera indicizzare, o una mappa del sito dichiarata in robots.txt che restituisce un errore.

No. Prendiamo robots.txt e le sitemap che dichiara, poi leggiamo un campione di URL da ogni pagina. Non cripiamo ricorsivamente ogni pagina, quindi il test è veloce e non caricherà il server.

Sì, il tester è gratuito senza registrazione. L'accesso programmatico tramite un API REST è disponibile sui piani gestiti a pagamento.

⚙️ Per gli sviluppatori

Eseguilo nel tuo condotto

Questo tester esegue interamente server-side Hoppenstedt si invia un URL, il nostro backend fetches e parses robots.txt e le sitemap dichiarate, quindi re-rende questa pagina con i risultati. Un programmatico API REST per CI / CD e la verifica in blocco è disponibile sui piani gestiti a pagamento. Cfr. piani →