🤖 Kúszás és indexálás

robotok.txt & Oldaltérkép- teszt

Írja be a webhely URL-jét. Elhozzuk a robotokat.txt és sitemap.xml-t a szerverünkről, megmutatjuk a kúszási irányelveket és a sitemaps-t, és megjelöljük a lekérdezési-string sitemap URL-eket, amelyek duplikált tartalmat okoznak.

Hogyan kell tesztelni a robotok.txt és sitemap.xml

Négy lépés, de nincs bejelentkezés, az egész ellenőrzés szerveroldalon fut.

1

A webhely URL- jének beillesztése

Írja be bármelyik oldal honlapjának URL-jét. Nem kell a robotok teljes útvonala.txt • A gépről származtatjuk.

2

A szerverünkről hozunk.

Szerverünk robotokat kér.txt és minden bejelentett sitemap.xml-t, így a tesztet nem blokkolja a böngészője vagy a saját gyorsítótára.

3

Olvassa el az irányelveket és a sitemaps

Felül kell vizsgálni a parzed felhasználói-agent csoportok, kitiltási szabályok és a lista a bejelentett sitemaps, URL mintát minden.

4

Javítsd meg, amit megjelöltek.

A lekérdezési-string oldaltérkép URL-ek vagy blokkolt, de indexelt konfliktusok feloldása, mielőtt a kereső lemásolja a másolatokat.

Mit ellenőriz ez a teszter?

Ugyanazok a védőkorlátok, amiket belsőleg futtatunk, mielőtt egyetlen oldalt publikálnánk.

📜

A gyülekezési irányelv

Feldolgoz minden felhasználó-agent csoport és annak Engedély / Kitiltási szabályok így láthatja, hogy pontosan mi blokkolt.

🗺️

Bejelentett oldaltérképek

A robotok.txt-ben hivatkozott összes oldaltérképet felsorolja, letölti az összeset, és jelenti a típusát és az URL-számot.

⚠️

Kísérőzsinóros felpuffadás

Zászlók lekérdezés-string sitemap URL-ek, hogy a mag a duplikált oldalak és kiváltja a duplikált tartalom demotions.

🔗

Egészségügy

A fogások helyszíntérképek jelentették be a robotok.txt, hogy hiba, átirányítani, vagy vissza nem XML ömlengő néma csúszkálók gyilkosai.

Gyakran feltett kérdések

Egy sitemapban található egyetlen lekérdezési-string URL több ezer, majdnem kétoldalas oldalt tud elhinteni. A keresőmotorok mászhatnak rajtuk, ugyanazt a tartalmat különböző paraméterek alatt találják, és lefokozzák az egész klasztert a duplikált tartalmakért. Ez a teszter jelzi őket, mielőtt ez megtörténik.
Nem. Egy hiányzó vagy üres robotok.txt egyszerűen lehetővé teszi az összes mászást. A kockázat az ellenkezője: egy túl-széles kitiltás, hogy blokkolja az oldalakat, amit akarsz indexelt, vagy egy oldaltérkép bejelentett robotok.txt, amely visszatér egy hiba.
Nem. Elhozzuk a robotokat.txt és a webhelytérképeket, amikről azt állítja, hogy egy-egy URL-mintát olvasunk el. Nem térünk vissza minden oldalra, így a teszt gyors és nem tölti be a szerveredet.
Igen, a teszter ingyenes, regisztráció nélkül. Programmatic hozzáférés a REST API-n keresztül elérhető a fizetett irányított terveken.
⚙️ Fejlesztőknek

Futtasd a vezetékedbe!

Ez a teszter fut teljesen szerver-oldal · Ön egy URL-t, a backend letölti és kibontja robotok.txt és a bejelentett sitemaps, majd újra visszaadja ezt az oldalt az eredmények. A programmatic REST API CI/CD és ömlesztett auditálás áll rendelkezésre a fizetett irányított tervek. Lásd a terveket →