🤖 Skráning

Robots.txt & Sitemap prófanir

Við sækjum robots.txt og sitemap.xml frá netþjóninum okkar, sýnum þér skriðreglurnar og yfirlýst vefsvæði og merkjum vefslóðir fyrirspurnarstrengsins sem valda niðurfellingu á afrit af efni.

Hvernig á að prófa robots.txt og sitemap.xml

Fjögur skref, engin skráning. Öll athugunin fer fram á miðlarahlið.

1

Líma slóðina á síðuna

Þú þarft ekki að gefa upp alla slóðina að robots.txt-skránni – við fáum hana frá hýslinum.

2

Við sækjum frá netþjóninum okkar

Þjónninn okkar biður um robots.txt og hvert lýst sitemap.xml, þannig að prófið er ekki lokað af vafranum þínum eða eigin skyndiminni.

3

Lesið tilskipanirnar og vefkortin

Skoðaðu flokka notenda sem hafa verið greindir, hafnaðu reglum og lista yfir tilgreind vefsvæðiskort með vefslóð úr hverju þeirra.

4

Lagfæra hvað er merkt

Leysa allar fyrirspurn-strengur sitemap vefslóðir eða lokað-en-vísitölu átök áður en leitarvél niðurlægir afrit.

Hvað þetta prófanir athuga

Sömu öryggisgrindur sem við keyrum innanhúss áður en birt er ein blaðsíða.

📜

Skráningarreglur

Þýðir hvern notanda-umboðsmaður hóp og leyfa / banna reglur þess svo þú getur séð nákvæmlega hvað er lokað.

🗺️

Yfirlýst vefsvæði

Listi yfir hvert vefsvæði sem vísað er til í robots.txt, sækir hvert og tilkynnir tegund þess og vefslóð.

⚠️

Blóðugur fyrirspurnarstrengur

Fánar fyrirspurnarstrengs vefkorta vefslóðir sem sá nærri afritaðar síður og kveikja á niðurfellingu á afritaðri efni.

🔗

Sækja heilsu

Veiðir vefkort lýst í robots.txt sem villa, endurvísa eða skila non-XML - hljóðlaus skríða killers.

Algengar spurningar

Einn fyrirspurn-strengur slóð í vefkorti getur sáð þúsundir nánast tvíteknar síður. Leitarvélar skríða þá, finna sama efni undir mismunandi breytur, og niðurlægja allt þyrping fyrir tvítekna efni. Þessi prófanir flaggar þeim áður en það gerist.
Ef robots.txt vantar eða er tóm leyfir það einfaldlega alla skrúðgöngu. Hættan er hins vegar öfug: of breiður bannstafur sem lokar fyrir síður sem þú vilt að verði skráðar eða vefsvæðiskort sem tilgreint er í robots.txt og skilar villu.
Nei, við sækjum robots.txt og vefsvæðiskortin sem það lýsir yfir og lesum síðan sýnishorn af vefslóðum úr hverjum og einum. Við skrum ekki allar síður afturvirkt, þannig að prófið er hratt og hleður ekki netþjóninum þínum.
Já, prófanirinn er ókeypis án skráningar. Programmatic aðgangur í gegnum REST API er í boði á greiddum stjórnað áætlunum.
⚙️ Fyrir forritara

Keyra það í leiðslunni þinni

Þetta prófunartæki keyrir algjörlega á miðlarahlið - þú sendir inn slóð, bakenda okkar sækir og greinir robots.txt og yfirlýst vefsvæði og endurgerir síðan þessa síðu með niðurstöðunum. Programmatic REST API fyrir CI / CD og fjölda endurskoðun er í boði á greiddum stjórnað áætlunum. Sjá áætlanir →