роботы.txt & Sitemap Tester
Введите любой URL сайта. Мы достанем его роботы.txt и карту сайта.xml с нашего сервера, покажем вам директивы ползания и объявленные карты сайта, и пометим адреса сайта, которые вызывают понижение вращения в дублирующих содержимых.
Как проверить роботов.txt и карту сайта.xml
Четыре шага, без регистрации, весь чек работает на сервере.
Вставить адрес сайта
Введите URL главной страницы любого сайта. Полный путь к robots.txt не нужен, мы выводим его из хоста.
Мы достанем с сервера
Наш сервер запрашивает роботов.txt и каждый объявленный план сайта.xml, так что тест не заблокирован вашим браузером или вашим собственным кэшом.
Прочитать директивы и карты участков
Проанализировать группы пользователей-агентов, отменить правила и перечень объявленных карт сайта с выборкой адресов из каждой из них.
Исправить то, что было отмечено
Устранить любые ссылки на карту сайта с помощью строк запросов или заблокированные, но индексированные коллизии до того, как поисковая система понижает дублирующие.
Что проверяет этот тестер
Те же ограждения, которые мы прогоняем внутри, прежде чем опубликовать одну страницу.
Получить указания
Проверяет каждую группу пользователей-агентов и ее правила допуска/отклонения, чтобы вы могли точно видеть, что заблокировано.
Объявленные карты участков
Список всех сайтов, на которые сделаны ссылки в роботах.txt, получает каждый и сообщает о своем типе и числе адресов.
Просить прощения
Карта с помощью указателей запросов на сайте, которая сеет почти двойные страницы и вызывает двойное понижение в должности.
Оздоровление
Находит sitemap, объявленные в robots.txt, которые выдают ошибку, перенаправляют или возвращают не XML. Это тихие убийцы сканирования.
Часто задаваемые вопросы
Запускайте в свой трубопровод.
Этот тестер работает целиком на стороне сервера. Вы отправляете URL, наш бэкенд загружает и разбирает robots.txt и объявленные sitemap, а затем заново отображает эту страницу с результатами. Программный REST API для CI/CD и массового аудита доступен в платных планах Managed. См. планы →
Используйте его программно
Каждый инструмент доступен через единый REST API с аутентификацией в планах Pro и API. Подключите его к своему CI, CMS или дашбордам.