Пузи & индексација

роботи.txt и тестер ситематског фајла

Унесите било који УРЛ сајта. Добијамо његове роботи.txt и сајтмап.xml са сервера, приказујемо вам пузеће директиве и декларишемо мапе сајтова, а заглављамо УРЛ сајтова упитања који изазивају деминовање садржаја дупликата.

Како испробати robote.txt и sitemap.xml

Четири корака, нема пријаве, цео чек ради на серверу.

1

Налепи УРЛ сајта

Unesite URL početne stranice bilo kojeg sajta. Ne morate uneti punu putanju do robots.txt fajla, jer mi je automatski određujemo na osnovu domena sajta.

2

Добијамо са сервера

Наш сервер захтева роботи.txt и сваку декларисану мапу сајтова.xml, тако да тест није блокиран од стране вашег прегледача или сопственог кеша.

3

Прочитајте директиве и сајтове

Прегледајте рашчлањене корисничке агенте, забранићете правила и списак декларисаних картица сајтова, уз помоћ узорка УРЛ‐ а из сваког.

4

Поправите шта је означено

Решите било које УРЛ‐ ове сајтове са упитом или блокиране, али индексиране конфликте пре него што претраживач деминише дупликате.

Шта овај тестер проверава

Исте ограде које водимо унутра пре него што објавимо једну страницу.

📜

Пузање директива

Расправља сваку корисничко- агентску групу и њена Дозвољена/ одбаци правила тако да тачно видите шта је блокирано.

🗺️

Декларисане мапе сајтова

Набраја сваку карту сајтова упућену у robots.txtу, добавља по сваком, и изв› јештава о свом типу и броју УРЛ‐ ова.

⚠️

Упит- ниска напнута

Заставице упит- ниска УРЛ‐ ова сајта који сејају близу- дупликирају странице и окидају демографије садржаја дупликата.

🔗

Донеси здравље

Greške u mapama sajtova (sitemaps) koje su deklarisane u robots.txt fajlu, kao što su greške, preusmeravanja ili povratak podataka koji nisu u XML formatu, mogu biti veoma štetne. One mogu zaustaviti indeksiranje stranica bez ikakve vidljive poruke.

Често постављана питања

Један УРЛ упитног упита на мапи сајтова може сејати хиљаде скоро дубликатних страница. Претраживачи их пузају, налазе исти садржај под различитим параметрима и деградишу читаво кластере за дупликате садржаја. Овај тестер их заставља пре тога.
Не. Недостаје или празан роботи.txt омогућава пужење свих. Ризик је супротно: прекомерно забрањено да блокира странице које желите индексиране, или да се у роботима.txtу пријави мапа сајтова која враћа грешку.
Не, добијамо роботи.txt и сајтске карте које изјављује, затим читамо узорак УРЛ‐ ова из сваког. Не рекурзивно пузимо сваку страницу, тако да је тест брза и неће учитавати ваш сервер.
Да, тестер је бесплатан без пријаве. Програмаматички приступ преко РЕСТ АПИ је доступан на плаћеним управљеним плановима.
За програмере

Покрени га у својој цеви

Ovaj alat za testiranje radi isključivo na serveru. Vi unesete URL, naš server preuzima i analizira robots.txt i deklarisane sitemape, a zatim prikazuje ovu stranicu sa rezultatima. Programski REST API za integraciju u procese kontinuirane integracije/kontinuirane isporuke (CI/CD) i masovno testiranje dostupan je u okviru plaćenih, upravljanih paketa. Погледајте планове →

програмер АПИ

Користи га програмски

Svi alati su dostupni putem jednog autentifikovanog REST API-ja u paketima "Pro" i "API". Integrirajte ih u vaš sistem za kontinuiranu integraciju, sistem za upravljanje sadržajem ili kontrolne table.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 ОК
{ "ok": true, "result": { ... } }
Добављање API кључа → Мереран, по позиву цене.
Проверите сваку страницу сајта, ни једну по једну
Pro повеже Гугл претраживачку конзолу, доноси сваку страницу Гугл прескочи, сваку покварену страницу и сваку страницу која се ређа ниско, и пише шта да се поправи на свакој.
Погледајте како ради Pro