🤖 Roomamine ja indekseerimine

robotid.txt ja sisukaardi tester

Sisestage iga saidi URL. Me tõmbame oma robotid.txt ja sitemap.xml meie server, näidata teile roomata direktiive ja deklareeritud sitemaps, ja lipu päringu-string sitemap URL-id, mis põhjustavad duplikaadi sisu demotions.

Kuidas testida robotid.txt ja sitemap.xml

Neli sammu, ilma allkirjata, kogu kontroll juhib serverit.

1

Aseta saidi URL

Sisesta iga saidi kodulehekülg URL. Sa ei pea kogu tee robotid.txt ~ me tuletada see peremees.

2

Me tõmbame oma serverist.

Meie server nõuab robotid.txt ja iga deklareeritud sitemap.xml, nii test ei ole blokeeritud brauseri või oma vahemälu.

3

Loe direktiive ja sitemaps

Vaadata läbi parsitud kasutaja-agent rühmad, keelates reeglid ja nimekirja deklareeritud sitemaps, URL proovi igast.

4

Parandab sildistatud

Lahenda kõik päringu-string sitemap URL-id või blokeeritud-aga- indekseeritud konfliktid enne otsingumootori demotes duplikaadid.

Mida see tester kontrollib?

Samad valvurid, mida me juhime enne ühe lehekülje avaldamist.

📜

Direktiivid

Parss iga kasutaja-agent grupp ja selle Luba / Lubamata reeglid, et näeksite täpselt, mis on blokeeritud.

🗺️

Deklareeritud sitemaps

Loetleb iga saidikaart viidatud robotid.txt, tõmbab iga, ja teatab selle tüübi ja URL arv.

⚠️

Päringustringist paistetus

Lipud päringu-string sitemap URL-id, mis seemne lähedal-duplicate lehekülgi ja vallandada duplikaadi-sisu demotions.

🔗

Tervise hankimine

Püüa sitemaps deklareeritud robotid.txt et viga, suunata, või tagasi mitte-XML ~ vaikne roomatapjad.

Korduma kippuvad küsimused

Ühe päringu-stringi URL sitemap võib külvata tuhandeid ligiduplikaat lehekülgi. Otsi mootorid roomavad neid, leida sama sisu erinevate parameetrite all ja demote kogu klastri dubleerida sisu. See tester liputab neid enne, kui see juhtub.
Ei. Puuduvad või tühjad robotid.txt lihtsalt võimaldab kõik roomamine. Oht on vastupidine: üle-laial keelates, et blokeerib lehekülgi soovite indekseeritud, või sitemap deklareeritud robotid.txt, mis tagastab vea.
Ei. Me tõmbame robotid.txt ja sitemaps ta deklareerib, siis loe proovi URL-id iga. Me ei rekursiivselt roomata iga lehe, nii test on kiire ja ei laadi oma serverisse.
Jah, tester on tasuta ilma signup. Programmamaatiline juurdepääs kaudu REST API on saadaval makstud hallata plaanid.
⚙️ Arendajatele

Lase see oma torujuhesse.

See tester töötab täielikult serveri kõrval ~ esitate URL, meie taustaprogramm tõmbab ja parses robotid.txt ja deklareeritud sitemaps, siis uuesti-renders see leht tulemustega. Programmamaatiline REST API CI / CD ja lahtiselt auditeerimine on saadaval makstud hallata plaanid. Vt plaanid →