🤖 Crawl- indeksering

robots.txt & testing i nettkart

Oppgi en nettadresse til nettstedet. Vi henter robotene.txt og sitemap.xml fra tjeneren vår, viser deg direktivene om kryper og deklarerte nettstedene, og flagger URL-ene for spørring-streng-kart som gir demosjoner med duplisert innhold.

Hvordan teste en robots.txt og sitemap.xml

Fire steg, ingen registrering. hele sjekken kjører på tjenersiden.

1

Lim inn nettstedets nettadresse

Oppgi en URL til nettstedet til siden. Du trenger ikke hele stien til robots.txt – vi avleder den fra verten.

2

Vi henter fra tjeneren vår

Vår tjener ber robots.txt og hver deklarert sitemap.xml, så testen er ikke blokkert av din nettleser eller ditt eget mellomlager.

3

Les direktivene og stedskartene

Gjennomgå de tolkede brukeragentgruppene, la ikke reglene og listen over deklarerte stedskartene omfatte URL-prøver fra hver enkelt gruppe.

4

Rett opp det som er flagget

Løs opp alle nettsteds- URL- er for spørringsstrenger eller blokkerte men- indekserte konflikter før en søkemotor demper duplikatene.

Hva denne testeren kontrollerer

De samme beskyttelsesskinnene vi kjører internt før vi publiserer en enkelt side.

📜

Krusdirektiver

Tolker hver brukeragentgruppe og dens Tillat/la være regler så du kan se nøyaktig hva som er blokkert.

🗺️

Deklarerte kart over området

Lister hvert nettsted som det vises til i robots.txt, henter hver og rapporterer type og URL-antall.

⚠️

Spørrestreng- bloat

Flagg forespørsel-streng- sitemap-adresser som deler nær- dupliserte sider og utløser dupliserte objekter med innhold.

🔗

Hent helse

Fanger sitekart erklært i robots.txt at feil, omdirigering eller retur ikke-XML - stille krypemordere.

Ofte stilte spørsmål

En enkelt URL for spørringsstreng i et nettsted kan dele opp tusenvis av nesten dobbeltsider. Søkemotorer kryper dem, finner det samme innholdet under forskjellige parametre, og dekoiter hele klyngen etter duplisert innhold. Denne testeren flagger dem før det skjer.
Nei. En manglende eller tom robots. txt tillater bare alt krabbringende. Risikoen er motsatt: en overvei nekte at blokkerer sider du vil ha indeksert, eller et nettsted som oppgis i robots. txt som returnerer en feil.
Nei Vi henter roboter.txt og nettsidene som det oppgir, les så en stikkprøve av URL-er fra hver side. Vi kryper ikke rekursivt på hver side, så testen er rask og vil ikke laste inn tjeneren din.
Ja, testeren er fri uten registrering. Programmatisk tilgang via et REST API finnes på de betalte planene.
⚙️ Til utviklere

Kjør den i røret ditt

Denne testeren kjører helt på tjenersiden – du sender inn en URL, vår bakgrunnsmotor henter og tolker roboter. txt og de oppgitte stedskartene, gir denne siden resultatet igjen. Det finnes en programmatisk REST API for CI/ CD og masserevisjon på de betalte planene. Se planer →