🤖 Пузи & индексација

роботи.txt и тестер ситематског фајла

Унесите било који УРЛ сајта. Добијамо његове роботи.txt и сајтмап.xml са сервера, приказујемо вам пузеће директиве и декларишемо мапе сајтова, а заглављамо УРЛ сајтова упитања који изазивају деминовање садржаја дупликата.

Како испробати robote.txt и sitemap.xml

Четири корака, нема пријаве, цео чек ради на серверу.

Налепи УРЛ сајта

Унесите УРЛ домаће странице било ког сајта. Не треба вам пуна путања до robota.txt — ми је извлачимо од домаћина.

Добијамо са сервера

Наш сервер захтева роботи.txt и сваку декларисану мапу сајтова.xml, тако да тест није блокиран од стране вашег прегледача или сопственог кеша.

Прочитајте директиве и сајтове

Прегледајте рашчлањене корисничке агенте, забранићете правила и списак декларисаних картица сајтова, уз помоћ узорка УРЛ‐ а из сваког.

Поправите шта је означено

Решите било које УРЛ‐ ове сајтове са упитом или блокиране, али индексиране конфликте пре него што претраживач деминише дупликате.

Шта овај тестер проверава

Исте ограде које водимо унутра пре него што објавимо једну страницу.

📜

Пузање директива

Расправља сваку корисничко- агентску групу и њена Дозвољена/ одбаци правила тако да тачно видите шта је блокирано.

🗺️

Декларисане мапе сајтова

Набраја сваку карту сајтова упућену у robots.txtу, добавља по сваком, и изв› јештава о свом типу и броју УРЛ‐ ова.

⚠️

Упит- ниска напнута

Заставице упит- ниска УРЛ‐ ова сајта који сејају близу- дупликирају странице и окидају демографије садржаја дупликата.

🔗

Донеси здравље

Ухвати карте сајтова проглашене у robotima.txtу да грешка, преусмеравање или враћање не‐ ИксМЛ‐ а — тихе пузавце убице.

Често постављана питања

Један УРЛ упитног упита на мапи сајтова може сејати хиљаде скоро дубликатних страница. Претраживачи их пузају, налазе исти садржај под различитим параметрима и деградишу читаво кластере за дупликате садржаја. Овај тестер их заставља пре тога.

Не. Недостаје или празан роботи.txt омогућава пужење свих. Ризик је супротно: прекомерно забрањено да блокира странице које желите индексиране, или да се у роботима.txtу пријави мапа сајтова која враћа грешку.

Не, добијамо роботи.txt и сајтске карте које изјављује, затим читамо узорак УРЛ‐ ова из сваког. Не рекурзивно пузимо сваку страницу, тако да је тест брза и неће учитавати ваш сервер.

Да, тестер је бесплатан без пријаве. Програмаматички приступ преко РЕСТ АПИ је доступан на плаћеним управљеним плановима.

⚙️ За програмере

Покрени га у својој цеви

Овај тестер покреће сасвим са сервера — поднесете УРЛ, наш позадин доноси и обрађује роботи.txt и декларисане карте сајтова, затим предаје ову страницу са резултатима. Програмски РЕСТ АПИ за ЦИ/ ЦД, а опсежна ревизија је доступна на плаћеним управљеним плановима. Погледајте планове →