robotok.txt & Oldaltérkép- teszt
Írja be a webhely URL-jét. Elhozzuk a robotokat.txt és sitemap.xml-t a szerverünkről, megmutatjuk a kúszási irányelveket és a sitemaps-t, és megjelöljük a lekérdezési-string sitemap URL-eket, amelyek duplikált tartalmat okoznak.
Hogyan kell tesztelni a robotok.txt és sitemap.xml
Négy lépés, de nincs bejelentkezés, az egész ellenőrzés szerveroldalon fut.
A webhely URL- jének beillesztése
Adja meg bármely oldal honlapjának URL-jét. Nem kell a robotok teljes útvonala, mert a gazdatestből származtatjuk.
A szerverünkről hozunk.
Szerverünk robotokat kér.txt és minden bejelentett sitemap.xml-t, így a tesztet nem blokkolja a böngészője vagy a saját gyorsítótára.
Olvassa el az irányelveket és a sitemaps
Felül kell vizsgálni a parzed felhasználói-agent csoportok, kitiltási szabályok és a lista a bejelentett sitemaps, URL mintát minden.
Javítsd meg, amit megjelöltek.
A lekérdezési-string oldaltérkép URL-ek vagy blokkolt, de indexelt konfliktusok feloldása, mielőtt a kereső lemásolja a másolatokat.
Mit ellenőriz ez a teszter?
Ugyanazok a védőkorlátok, amiket belsőleg futtatunk, mielőtt egyetlen oldalt publikálnánk.
A gyülekezési irányelv
Feldolgoz minden felhasználó-agent csoport és annak Engedély / Kitiltási szabályok így láthatja, hogy pontosan mi blokkolt.
Bejelentett oldaltérképek
A robotok.txt-ben hivatkozott összes oldaltérképet felsorolja, letölti az összeset, és jelenti a típusát és az URL-számot.
Kísérőzsinóros felpuffadás
Zászlók lekérdezés-string sitemap URL-ek, hogy a mag a duplikált oldalak és kiváltja a duplikált tartalom demotions.
Egészségügy
A fogások helyszíntérképek jelentették be a robotok.txt ezt a hibát, átirányítja, vagy vissza nem XML. Ezek csendes csúszdázó gyilkosok.
Gyakran feltett kérdések
Futtasd a vezetékedbe!
Ez a teszter teljesen szerveroldalon fut. Ön egy URL-t küld, a backend letölti és kitölti a robotokat.txt és a bejelentett sitemaps-et, majd újra visszaadja ezt az oldalt az eredményekhez. A fizetett kezelt terveken a CI/CD programmatic REST API és a tömeges auditálás is elérhető. Lásd a terveket →
Programmatikusan használja.
Minden eszköz elérhető egy hitelesített REST API a Pro és API tervek. Vezesd be a CMS-edbe, vagy a műszerfalaidba.