robots.txt & Mappa del sito Tester
Inserisci qualsiasi URL del sito. Prendiamo i suoi robots.txt e sitemap.xml dal nostro server, ti mostriamo le direttive di strisciamento e le sitemap dichiarate, e segnaliamo gli URL della mappa del sito che causano demozioni di contenuti duplicati.
Come testare un robots.txt e sitemap.xml
Quattro passi, niente iscrizioni, tutto il controllo funziona sul lato server.
Incolla l'URL del sito
Inserisci l'URL della homepage di qualsiasi sito. Non serve il percorso completo di robots.txt, perché lo ricaviamo dall'host.
Prendiamo dal nostro server
Il nostro server richiede robots.txt e ogni sitemap.xml dichiarato, quindi il test non viene bloccato dal tuo browser o dalla tua cache.
Leggi le direttive e le sitemap
Rivedere i gruppi di utenti-agente analizzati, non consentire le regole e l'elenco delle sitemap dichiarate, con un campione di URL da ciascuno.
Correggi ciò che è segnalato
Risolvere qualsiasi URL di query-string sitemap o conflitti bloccati ma indicizzati prima che un motore di ricerca demotizzi i duplicati.
Che cosa questo tester controlla
Gli stessi guardrail che si corre internamente prima di pubblicare una singola pagina.
Direttive di lotta
Analizza ogni gruppo utente-agente e le sue regole Consenti / disabilita in modo da poter vedere esattamente ciò che è bloccato.
Sitemap dichiarate
Elenca ogni mappa del sito referenziato in robots.txt, prende ciascuno, e riporta il suo tipo e URL conteggio.
Bloat della corda di query
Flags query-string sitemap URL che seminano pagine quasi duplicate e innescano demozioni a doppio contenuto.
Salute
Individua le sitemap dichiarate in robots.txt che danno errore, reindirizzano o restituiscono contenuto non XML. Sono killer silenziosi della scansione.
Domande frequenti
Eseguilo nel tuo condotto
Questo tester funziona interamente lato server. Invii un URL, il nostro backend recupera e analizza robots.txt e le sitemap dichiarate, poi ricrea questa pagina con i risultati. Nei piani managed a pagamento è disponibile un'API REST programmatica per CI/CD e audit in blocco. Cfr. piani →
Usalo programmaticamente
Ogni strumento è disponibile tramite un'unica API REST autenticata nei piani Pro e API. Collegala alla tua CI, al tuo CMS o ai tuoi dashboard.