Ryömi & indeksointi

Robot.txt & Sitemap Tester

Syötä minkä tahansa sivuston URL. Haemme sen robotit.txt ja sitemap.xml palvelimeltamme, näytämme sinulle ryömimisohjeet ja julistamme sivustokartat ja merkitsemme kyselyn striimaussivuston URL-osoitteet, jotka aiheuttavat kaksoissisältöjen alennusta.

Miten testata robotit.txt ja sitemap.xml

Neljä askelta, ei kirjautumista.

1

Liitä sivuston URL

Syötä minkä tahansa sivuston kotisivun URL. Et tarvitse täyttä polkua robotit.txt:iin, koska saamme sen isännältä.

2

Haemme palvelimelta

Palvelimemme pyytää robotit.txt:tä ja jokaista ilmoitettua sivustokarttaa.xml:ää, joten selaimesi tai oma välimuistisi ei estä testiä.

3

Lue direktiivit ja sivukartat

Tarkista jäsennellyt käyttäjä-agenttiryhmät, hylkäämissäännöt ja lista ilmoitetuista sivustokartoista, joista jokaisesta on otettu URL-näyte.

4

Korjaa liputus

Ratkaise kaikki kyselyjä koskevat sivustokartta URL-osoitteet tai estetyt mutta indeksoidut ristiriidat ennen kuin hakukone alentaa kaksoiskappaleita.

Mitä tämä testaaja tarkistaa

Samat kaiteet, jotka pyöritämme sisäisesti ennen yhden sivun julkaisemista.

📜

Ryöstödirektiivit

Parseaa jokaisen käyttäjäryhmän ja sen Mahdollisuus / Kieltäminen -säännöt, jotta näet tarkasti, mitä on estetty.

🗺️

Julkaistaan sivustokartta

Luettelee jokaisen robottien.txt-sivuston, hakee jokaisen ja raportoi sen tyypin ja URL-osoitteiden määrän.

⚠️

Query-jousien turvotus

Liput kyselyn kielikartta URL-osoitteet, jotka levittävät lähes kaksinkertaisia sivuja ja laukaisevat kaksoissisällön alentamisen.

🔗

Hae terveys

Catches sitemaps julistettu robots.txt että virhe, ohjata tai palauttaa ei-XML. Nämä ovat hiljaisia ryömijätappajia.

Usein kysyttyjä kysymyksiä

Yksi kyselyn merkkijonoinen URL sivustokartassa voi kylvää tuhansia lähes kaksinkertaisia sivuja. Etsi moottoreita ryömimään, löydä sama sisältö eri muuttujien alta ja alenna koko ryhmä kaksoissisällön saamiseksi. Tämä testaaja liputtaa ne ennen kuin se tapahtuu.
Ei, puuttuva tai tyhjä robotti.txt mahdollistaa vain ryömimisen. Riski on päinvastainen: ylilaaja kielto, joka estää indeksoitujen sivujen käytön, tai robottien.txt:ssä ilmoitettu sivustokartta, joka palauttaa virheen.
Ei, me haemme robotit.txt ja sivustokartoitukset, jotka se ilmoittaa, ja luemme sitten jokaisesta URL-osoitteesta näytteen. Emme ryömi rekursiivisesti joka sivulla, joten testi on nopea eikä lataa palvelinta.
Kyllä, testaaja on ilmainen ilman kirjautumista. Ohjelmallinen pääsy REST API:n kautta on saatavilla maksullisista järjestelyistä.
Kehittäjille

Suorita se putkeen

Tämä testaaja toimii täysin palvelinpuolella. Lähetät URL-osoitteen, taustamme noutavat ja parses robotit.txt ja ilmoitetut sivustokartat ja sitten palautat tämän sivun tuloksineen. Maksullisista järjestelyistä on saatavilla ohjelmallinen REST API CI/CD- ja irtotavarakatselmukseen. Katso suunnitelmat →

Kehittäjän API

Käytä sitä ohjelmallisesti

Jokainen työkalu on saatavilla Pron ja API:n suunnitelmissa olevan REST API:n kautta. Lähetä se tietolähteeseen, CMS- tai kojelautaan.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 ok
{ "ok": true, "result": { ... } }
Hanki API-avain → Mekaloitu, puhelukohtainen hinnoittelu. Vapaa taso edellä mainitulle interaktiiviselle työkalulle.
Tarkista jokainen sivu sivustostasi, ei yksi kerrallaan
Pro yhdistää Googlen hakukonsolin, hakee jokaisen sivusta ohitetun Googlen, jokaisen sivusta rikkoutuneen ja jokaisen sivusta alas sijoittuvan sivun ja kirjoittaa, mitä jokaiselle sivulle pitää korjata.
Katso, miten Pro vaikuttaa