& Индексиране на пълзи

Роботи.txt и Карта на Тестер

Въведете всеки адрес на сайта. Ние взимаме неговите роботи.txt и sitemap.xml от нашия сървър, показваме на пълзещите директиви и декларираните карти на сайта, и означаваме на адресите на запитания-страница сайт, които причиняват декомпромисии на дубликат-съдържание.

Как да тествате robots.txt и sitemap.xml

Четири стъпки, няма регистрация, целият чек е на сървър.

1

Вмъкване на URL на сайта

Въведете адрес на страницата на всеки сайт. Не ви трябва пълния път до robots.txt, защото ние го получаваме от домакин.

2

Ние вземаме от нашия сървър

Нашият сървър иска robots.txt и всеки деклариран sitemap.xml, така че тестът не е блокиран от вашия браузър или вашия собствен кеш.

3

Прочети директивите и картите на сайта

Преглед на анализираните потребителски агенти групи, забранява правилата и списъка на декларираните сайтове, с URL проба от всяка.

4

Поправи това, което е означено.

Разрешава всички адреси на адресите на строка за издирване или блокирани но- индексирани конфликти преди търсачката да демонстрира дубликатите.

Какво проверява този тестер?

Същите релсите, които работим вътрешно, преди да публикуваме една страница.

📜

Насоки за пълнене

Анализира всяка група потребителски агенти и нейните Позволяване / Забрани правила, така че можете да видите точно какво е блокирано.

🗺️

Обяснени карти на сайта

Изброява всяка карта на сайта, която е ссылка на robots.txt, взема всеки, и докладва своя тип и брой URL.

⚠️

Запитване- напътване

Флагове запитване-страница сайт адреси, които семена близо-дупликация страници и активира дубликат-съдържание декомпресии.

🔗

Донеси здраве

Улове карти на сайта, декларирани в robots.txt тази грешка, пренасочване или връщане не-XML. Това са мълчаливи убийци.

Често задавани въпроси

Единичен адрес за запитване-страница в карта на сайта може да се сее хиляди страници близо-дубликации. Търсачите ги пълзи, намерите същото съдържание под различни параметри, и демифицирате целия клъстер за дубликати съдържание. Този тестьор ги поставя преди това.
Не. Липсващ или празен robots.txt просто позволява всички пълзещи. Рискът е обратното: свръх-широко недопустимо, че блокира страници, които искате индексиран, или карта на сайта, декларирана в robots.txt, която връща грешка.
Не. Ние взимаме robots.txt и сайта картите, които той декларира, след това четете проба от URL от всеки. Не пълзи рекурзивно всяка страница, така че тестът е бърз и няма да зареди вашия сървър.
Да, тестерът е свободен без регистрация. Програмата за достъп чрез REST API е на разположение на платените управлявани планове.
За разработчици

Пусни го в тръбата си.

Този тестър работи напълно на сървърната страна. Вие представяте URL, нашият заден план взема и анализира robots.txt и декларираните карти на сайта, след това предава тази страница с резултатите. Програма за CI/CD и насипно одит е на разположение на платените управлявани планове. Вж. плановете →

Разработчик API

Използвай го програмно.

Всеки инструмент е на разположение чрез един автентичен REST API на Pro и API планове. Включи го в информатора, CMS или табло.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 ОК.
{ "ok": true, "result": { ... } }
Вземи API ключ → Измерва се, цената на всеки повикване.
Проверете всяка страница на сайта си, нито една по една
Pro свързва Google Търсене консол, взема всяка страница Google пропусна, всяка счупена страница и всяка страница, която се редицират ниско, и пише какво да се поправи на всеки един.
Вижте как действа Pro