Тестування robots. txt і веб-карти
Введіть будь- яку адресу сайта. Ми отримуємо дані з її robots. txml і map сайта з нашого сервера, демонструємо директиви зі складанням ролей і підписаними картами сайтів, а також позначимо адреси URL- підрядків, які спричиняють подвійні відсутності.
Як перевірити robots. txt і сайтmap. xml
Чотири кроки, без підписки.
Вставити адресу URL сайта
Введіть URL головної сторінки будь-якого сайту. Повний шлях до robots.txt не потрібен, ми виводимо його з хоста.
Ми отримуємо з нашого сервера
Наш сервер просить про запити на robots.txt і всі оголошені сайти.xml, отже тест не блокується вашим навігатором або вашим власним кешем.
Прочитайте директиви і карти сайтів
Переглядати оброблені групи агентів користувача, правила, які не можна використовувати, та список оголошених карт сайтів, з вибіркою URL з кожної з них.
Виправити прапорець
Вирішіть будь- які адреси адрес карти запитів або заблоковані- але- включені конфлікти, перш ніж рушій пошуку демонструє дублікати.
Перевірка цього тестувальника
Ми працюємо у цих самих сторожових прилавках перед тим, як опублікувати одну сторінку.
Директиви пересування
Аналізує кожну групу користувача і його правила Дозволити / Заборонити, щоб ви могли бачити точно те, що заблоковано.
Оголошення карт сайтів
Показує список всіх карт сайтів, на яких посилається робота. txt, отримує кожну з них і повідомляє про тип і кількість адрес URL.
Рядок запиту
Прапорці Стримки адреси сайта query- line, які буде створено близько сторінок і запущено дублікати відбиття.
Отримати здоров'я
Знаходить sitemap, оголошені в robots.txt, що видають помилку, перенаправляють чи повертають не XML. Це тихі вбивці сканування.
Часті запитання
Запусти його у своєму трубопроводі
Цей тестер працює повністю на боці сервера. Ви надсилаєте URL, наш бекенд завантажує й розбирає robots.txt та оголошені sitemap, а потім заново відображає цю сторінку з результатами. Програмний REST API для CI/CD і масового аудиту доступний у платних планах Managed. Див. плани →
Використовувати його програмно
Кожен інструмент доступний через єдиний REST API з автентифікацією в планах Pro і API. Підключіть його до свого CI, CMS або дашбордів.