🤖 Ryömi & indeksointi

Robot.txt & Sitemap Tester

Syötä minkä tahansa sivuston URL. Haemme sen robotit.txt ja sitemap.xml palvelimeltamme, näytämme sinulle ryömimisohjeet ja julistamme sivustokartat ja merkitsemme kyselyn striimaussivuston URL-osoitteet, jotka aiheuttavat kaksoissisältöjen alennusta.

Miten testata robotit.txt ja sitemap.xml

Neljä askelta, ei kirjautumista.

1

Liitä sivuston URL

Syötä minkä tahansa sivuston kotisivun URL. Et tarvitse täyttä polkua roboteille.txt – me saamme sen isännältä.

2

Haemme palvelimelta

Palvelimemme pyytää robotit.txt:tä ja jokaista ilmoitettua sivustokarttaa.xml:ää, joten selaimesi tai oma välimuistisi ei estä testiä.

3

Lue direktiivit ja sivukartat

Tarkista jäsennellyt käyttäjä-agenttiryhmät, hylkäämissäännöt ja lista ilmoitetuista sivustokartoista, joista jokaisesta on otettu URL-näyte.

4

Korjaa liputus

Ratkaise kaikki kyselyjä koskevat sivustokartta URL-osoitteet tai estetyt mutta indeksoidut ristiriidat ennen kuin hakukone alentaa kaksoiskappaleita.

Mitä tämä testaaja tarkistaa

Samat kaiteet, jotka pyöritämme sisäisesti ennen yhden sivun julkaisemista.

📜

Ryöstödirektiivit

Parseaa jokaisen käyttäjäryhmän ja sen Mahdollisuus / Kieltäminen -säännöt, jotta näet tarkasti, mitä on estetty.

🗺️

Julkaistaan sivustokartta

Luettelee jokaisen robottien.txt-sivuston, hakee jokaisen ja raportoi sen tyypin ja URL-osoitteiden määrän.

⚠️

Query-jousien turvotus

Liput kyselyn kielikartta URL-osoitteet, jotka levittävät lähes kaksinkertaisia sivuja ja laukaisevat kaksoissisällön alentamisen.

🔗

Hae terveys

Catches-sivuston kartoitukset, jotka on ilmoitettu roboteissa.txt-sivustolla, että virhe, uudelleenohjaus tai palautus ei ole XML:ää – hiljaiset ryömijätappajat.

Usein kysyttyjä kysymyksiä

Yksi kyselyn merkkijonoinen URL sivustokartassa voi kylvää tuhansia lähes kaksinkertaisia sivuja. Etsi moottoreita ryömimään, löydä sama sisältö eri muuttujien alta ja alenna koko ryhmä kaksoissisällön saamiseksi. Tämä testaaja liputtaa ne ennen kuin se tapahtuu.
Ei, puuttuva tai tyhjä robotti.txt mahdollistaa vain ryömimisen. Riski on päinvastainen: ylilaaja kielto, joka estää indeksoitujen sivujen käytön, tai robottien.txt:ssä ilmoitettu sivustokartta, joka palauttaa virheen.
Ei, me haemme robotit.txt ja sivustokartoitukset, jotka se ilmoittaa, ja luemme sitten jokaisesta URL-osoitteesta näytteen. Emme ryömi rekursiivisesti joka sivulla, joten testi on nopea eikä lataa palvelinta.
Kyllä, testaaja on ilmainen ilman kirjautumista. Ohjelmallinen pääsy REST API:n kautta on saatavilla maksullisista järjestelyistä.
⚙️ Kehittäjille

Suorita se putkeen

Tämä testaaja toimii täysin palvelinpuolella – lähetät URL-osoitteen, taustatietomme noutavat robotit ja parses robotit.txt ja ilmoitetut sivustokartat, sitten renderöit tämän sivun tuloksineen. Maksullisissa hallinnoiduissa suunnitelmissa on saatavilla ohjelmallinen REST API CI/CD- ja kokonaiskatselulle. Katso suunnitelmat →