🤖 Ползание и индексация

роботы.txt & Sitemap Tester

Введите любой URL сайта. Мы достанем его роботы.txt и карту сайта.xml с нашего сервера, покажем вам директивы ползания и объявленные карты сайта, и пометим адреса сайта, которые вызывают понижение вращения в дублирующих содержимых.

Как проверить роботов.txt и карту сайта.xml

Четыре шага, без регистрации, весь чек работает на сервере.

Вставить адрес сайта

Введите адрес электронной страницы любого сайта. Вам не нужен полный путь к роботам.txt — мы получаем его от хозяина.

Мы достанем с сервера

Наш сервер запрашивает роботов.txt и каждый объявленный план сайта.xml, так что тест не заблокирован вашим браузером или вашим собственным кэшом.

Прочитать директивы и карты участков

Проанализировать группы пользователей-агентов, отменить правила и перечень объявленных карт сайта с выборкой адресов из каждой из них.

Исправить то, что было отмечено

Устранить любые ссылки на карту сайта с помощью строк запросов или заблокированные, но индексированные коллизии до того, как поисковая система понижает дублирующие.

Что проверяет этот тестер

Те же ограждения, которые мы прогоняем внутри, прежде чем опубликовать одну страницу.

📜

Получить указания

Проверяет каждую группу пользователей-агентов и ее правила допуска/отклонения, чтобы вы могли точно видеть, что заблокировано.

🗺️

Объявленные карты участков

Список всех сайтов, на которые сделаны ссылки в роботах.txt, получает каждый и сообщает о своем типе и числе адресов.

⚠️

Просить прощения

Карта с помощью указателей запросов на сайте, которая сеет почти двойные страницы и вызывает двойное понижение в должности.

🔗

Оздоровление

Захватит карты сайта, которые, как было заявлено в роботах.txt, это ошибка, перенаправляет или возвращает неXML — молчаливые убийцы ползания.

Часто задаваемые вопросы

Единственный адрес в карте сайта, содержащий информацию о запросах, может создать тысячи страниц, которые почти переплетаются. Поисковые системы ползают по ним, находят одно и то же содержание под разными параметрами и размножают весь блок для дубликата. Этот тестер маркирует их перед тем, как это произойдет.

Нет. Пропавшие или пустые роботы.txt просто позволяют ползать. Риск наоборот: чрезмерное отклонение от графика, которое блокирует страницы, которые вы хотите индексировать, или карта сайта, объявленная в роботах.txt, которая возвращает ошибку.

Мы берем роботов.ткст и карты сайта, которые он описывает, затем читаем образец URL от каждого. Мы не будем рекурсивно ползать по каждой странице, так что тест быстрый и не будет загружать ваш сервер.

Да, тестер бесплатный без регистрации.

⚙️ Для разработчиков

Запускайте в свой трубопровод.

Этот тестер работает полностью на сервере — вы представляете URL, наши приводы и анализы роботов.txt и объявленные карты сайта, затем повторно делает эту страницу результатами. Программа REST API для CI/CD и оптовая аудиторская проверка доступна в платных планах управления. См. планы →