Ползание и индексация

роботы.txt & Sitemap Tester

Введите любой URL сайта. Мы достанем его роботы.txt и карту сайта.xml с нашего сервера, покажем вам директивы ползания и объявленные карты сайта, и пометим адреса сайта, которые вызывают понижение вращения в дублирующих содержимых.

Как проверить роботов.txt и карту сайта.xml

Четыре шага, без регистрации, весь чек работает на сервере.

1

Вставить адрес сайта

Введите URL главной страницы любого сайта. Полный путь к robots.txt не нужен, мы выводим его из хоста.

2

Мы достанем с сервера

Наш сервер запрашивает роботов.txt и каждый объявленный план сайта.xml, так что тест не заблокирован вашим браузером или вашим собственным кэшом.

3

Прочитать директивы и карты участков

Проанализировать группы пользователей-агентов, отменить правила и перечень объявленных карт сайта с выборкой адресов из каждой из них.

4

Исправить то, что было отмечено

Устранить любые ссылки на карту сайта с помощью строк запросов или заблокированные, но индексированные коллизии до того, как поисковая система понижает дублирующие.

Что проверяет этот тестер

Те же ограждения, которые мы прогоняем внутри, прежде чем опубликовать одну страницу.

📜

Получить указания

Проверяет каждую группу пользователей-агентов и ее правила допуска/отклонения, чтобы вы могли точно видеть, что заблокировано.

🗺️

Объявленные карты участков

Список всех сайтов, на которые сделаны ссылки в роботах.txt, получает каждый и сообщает о своем типе и числе адресов.

⚠️

Просить прощения

Карта с помощью указателей запросов на сайте, которая сеет почти двойные страницы и вызывает двойное понижение в должности.

🔗

Оздоровление

Находит sitemap, объявленные в robots.txt, которые выдают ошибку, перенаправляют или возвращают не XML. Это тихие убийцы сканирования.

Часто задаваемые вопросы

Единственный адрес в карте сайта, содержащий информацию о запросах, может создать тысячи страниц, которые почти переплетаются. Поисковые системы ползают по ним, находят одно и то же содержание под разными параметрами и размножают весь блок для дубликата. Этот тестер маркирует их перед тем, как это произойдет.
Нет. Пропавшие или пустые роботы.txt просто позволяют ползать. Риск наоборот: чрезмерное отклонение от графика, которое блокирует страницы, которые вы хотите индексировать, или карта сайта, объявленная в роботах.txt, которая возвращает ошибку.
Мы берем роботов.ткст и карты сайта, которые он описывает, затем читаем образец URL от каждого. Мы не будем рекурсивно ползать по каждой странице, так что тест быстрый и не будет загружать ваш сервер.
Yes, the tester is free with no signup. Programmatic access via a REST API is available on the paid managed plans.
Для разработчиков

Запускайте в свой трубопровод.

Этот тестер работает целиком на стороне сервера. Вы отправляете URL, наш бэкенд загружает и разбирает robots.txt и объявленные sitemap, а затем заново отображает эту страницу с результатами. Программный REST API для CI/CD и массового аудита доступен в платных планах Managed. См. планы →

Разработчик API

Используйте его программно

Каждый инструмент доступен через единый REST API с аутентификацией в планах Pro и API. Подключите его к своему CI, CMS или дашбордам.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 ок
{ "ok": true, "result": { ... } }
Достать ключ API → Вышеприведенный интерактивный инструмент является свободным.
Проверяйте все страницы сайта, а не по одной
Pro подключает Google Search Console, загружает каждую страницу, которую Google пропустил, каждую нерабочую и каждую с низкими позициями, и пишет, что исправить на каждой.
Узнать, как работает Pro