🤖 Ползи & индексација

Роботи.txt и Тестер на ситематот

Внесете било која адреса на сајтот. Ги преземаме неговите роботи.txt и sitemap.xml од нашиот сервер, ви ги покажуваме директивите за ползање и декларираните мапи на страниците и ги означуваме URL- страниците на пребарувачите кои предизвикуваат демотивација на дубликат- содржината.

Како да се тестираат robots.txt и sitemap.xml

Четири чекори, нема пријава, целиот чек работи на серверот.

1

Вметни ја адресата на страницата

Внесете го URL- адресата на секоја страница. Не ви треба целата патека до robots.txt — ние ја добиваме од компјутерот.

2

Земаме од нашиот сервер

Нашиот сервер бара robots.txt и секоја декларирана веб-мапа.xml, така тестот не е блокиран од вашиот прелистувач или вашиот сопствен кеш.

3

Прочитај ги директивите и мапите на страниците

Ги прегледува анализираните кориснички агенти, забранува правила и листата на декларирани карти на страници, со примерок од URL од секоја.

4

Поправете го тоа што е означено.

Реши ги сите URL-а на страницата со препрашување или блокирани но индексирани конфликти пред пребарувачот да ги демонстрира дупликатите.

Што проверува овој тестер?

Истите огради кои ги водиме внатрешно пред да објавиме една страница.

📜

Пузи директиви

Ја анализира секоја корисничка група и нејзините Дозволи/ Исклучи ги правилата за да можете да видите што точно е блокирано.

🗺️

Објавени карти на страници

Ги наведува сите страници на кои се наведени во robots.txt, ги донесува сите и известува бројот на типови и URL.

⚠️

Напирање на препраќање

Зазначува адреси на веб- картите на ознаки кои се сематријат близу- дупликираат страници и предизвикуваат демографија на дубликати- содржини.

🔗

Донеси здравје

Ги лови картите на местата кои се прогласени во robots.txt дека грешката, пренасочувањето или враќањето на не-XML — тивки пузачи.

Често поставувани прашања

Единствена УРЛ на препрашување на линија во картата на сајтот може да се сее илјадници скоро дублирани страници. Пребарувачите ги ползаат, ја наоѓаат истата содржина под различни параметри и ја демболираат целата група за дупликати за содржина. Овој тестер ги поставува пред тоа.
Не. Недостасува или празен robots.txt едноставно дозволува сите поползи. Ризикот е спротивен: прекумерно забрането е да се блокираат страниците кои сакате да се индексираат или да се прогласи карта на страници во robots.txt која враќа грешка.
Не. Донесуваме robots.txt и картите на сайта кои ги декларира, потоа читаме примерок од URL од секоја страница. Не ползиме рекурзивно на секоја страница, па тестот е брз и нема да го вчитаме вашиот сервер.
Да, тестирачот е бесплатно без пријава. Програмата за пристап преку REST API е достапна на платените управувани планови.
⚙️ За развивачи

Водете го во вашиот гасовод.

Овој тестер работи целосно на серверот — ќе испратите URL, нашиот задник презема и анализира роботи.txt и декларираните карти на страниците, потоа ја пренесува оваа страница со резултатите. Програмата за реставрација на API за CI/CD и масовната ревизија е достапна на платените управувани планови. Види ги плановите →