🤖 & Индексиране на пълзи

Роботи.txt и Карта на Тестер

Въведете всеки адрес на сайта. Ние взимаме неговите роботи.txt и sitemap.xml от нашия сървър, показваме на пълзещите директиви и декларираните карти на сайта, и означаваме на адресите на запитания-страница сайт, които причиняват декомпромисии на дубликат-съдържание.

Как да тествате robots.txt и sitemap.xml

Четири стъпки, няма регистрация, целият чек е на сървър.

Вмъкване на URL на сайта

Въведете URL на страницата на всеки сайт. Не се нуждаете от пълния път до robots.txt - ние го получаваме от домакин.

Ние вземаме от нашия сървър

Нашият сървър иска robots.txt и всеки деклариран sitemap.xml, така че тестът не е блокиран от вашия браузър или вашия собствен кеш.

Прочети директивите и картите на сайта

Преглед на анализираните потребителски агенти групи, забранява правилата и списъка на декларираните сайтове, с URL проба от всяка.

Поправи това, което е означено.

Разрешава всички адреси на адресите на строка за издирване или блокирани но- индексирани конфликти преди търсачката да демонстрира дубликатите.

Какво проверява този тестер?

Същите релсите, които работим вътрешно, преди да публикуваме една страница.

📜

Насоки за пълнене

Анализира всяка група потребителски агенти и нейните Позволяване / Забрани правила, така че можете да видите точно какво е блокирано.

🗺️

Обяснени карти на сайта

Изброява всяка карта на сайта, която е ссылка на robots.txt, взема всеки, и докладва своя тип и брой URL.

⚠️

Запитване- напътване

Флагове запитване-страница сайт адреси, които семена близо-дупликация страници и активира дубликат-съдържание декомпресии.

🔗

Донеси здраве

Улов на карти на сайта, декларирани в robots.txt, че грешка, пренасочване или връщане не-XML — тихи ползи убийци.

Често задавани въпроси

Единичен адрес за запитване-страница в карта на сайта може да се сее хиляди страници близо-дубликации. Търсачите ги пълзи, намерите същото съдържание под различни параметри, и демифицирате целия клъстер за дубликати съдържание. Този тестьор ги поставя преди това.

Не. Липсващ или празен robots.txt просто позволява всички пълзещи. Рискът е обратното: свръх-широко недопустимо, че блокира страници, които искате индексиран, или карта на сайта, декларирана в robots.txt, която връща грешка.

Не. Ние взимаме robots.txt и сайта картите, които той декларира, след това четете проба от URL от всеки. Не пълзи рекурзивно всяка страница, така че тестът е бърз и няма да зареди вашия сървър.

Да, тестерът е свободен без регистрация. Програмата за достъп чрез REST API е на разположение на платените управлявани планове.

⚙️ За разработчици

Пусни го в тръбата си.

Този тестер работи изцяло на сървъра - вие изпращате URL, нашият заден план взема и анализира роботи.txt и декларираните карти на сайта, след това предава тази страница с резултатите. Вж. плановете →