Переміщення та індексування

Тестування robots. txt і веб-карти

Введіть будь- яку адресу сайта. Ми отримуємо дані з її robots. txml і map сайта з нашого сервера, демонструємо директиви зі складанням ролей і підписаними картами сайтів, а також позначимо адреси URL- підрядків, які спричиняють подвійні відсутності.

Як перевірити robots. txt і сайтmap. xml

Чотири кроки, без підписки.

1

Вставити адресу URL сайта

Введіть URL головної сторінки будь-якого сайту. Повний шлях до robots.txt не потрібен, ми виводимо його з хоста.

2

Ми отримуємо з нашого сервера

Наш сервер просить про запити на robots.txt і всі оголошені сайти.xml, отже тест не блокується вашим навігатором або вашим власним кешем.

3

Прочитайте директиви і карти сайтів

Переглядати оброблені групи агентів користувача, правила, які не можна використовувати, та список оголошених карт сайтів, з вибіркою URL з кожної з них.

4

Виправити прапорець

Вирішіть будь- які адреси адрес карти запитів або заблоковані- але- включені конфлікти, перш ніж рушій пошуку демонструє дублікати.

Перевірка цього тестувальника

Ми працюємо у цих самих сторожових прилавках перед тим, як опублікувати одну сторінку.

📜

Директиви пересування

Аналізує кожну групу користувача і його правила Дозволити / Заборонити, щоб ви могли бачити точно те, що заблоковано.

🗺️

Оголошення карт сайтів

Показує список всіх карт сайтів, на яких посилається робота. txt, отримує кожну з них і повідомляє про тип і кількість адрес URL.

⚠️

Рядок запиту

Прапорці Стримки адреси сайта query- line, які буде створено близько сторінок і запущено дублікати відбиття.

🔗

Отримати здоров'я

Знаходить sitemap, оголошені в robots.txt, що видають помилку, перенаправляють чи повертають не XML. Це тихі вбивці сканування.

Часті запитання

Один рядок URL запиту на карті сайта може містити тисячі сторінок, які знаходяться близько до нього. Пошукові рушії прошифровують їх, знаходять вміст, що знаходиться за різними параметрами, і віддаляють ціле кластер для дублікатів вмісту. Цей тестувальник позначає їх перед тим, як це станеться.
Ні. Відсутні або порожні роботи. txt просто дозволяють всім повзати. Ризик є протилежним: перезаправа не дає вам індексувати сторінки, які ви бажаєте індексувати, або карта сайтів, яку було оголошено у файлі robots. txt, яка повертає помилку.
Ні. Ми отримуємо robots. txt і карти сайтів, які програма сповіщає, а потім читаємо зразок URL з кожного з них. Ми не перепроситимемо дані у рекурсивному режимі кожної сторінки, отже тест швидко працює і не завантажуватиме ваш сервер.
Так, тестувальник вільний без підписок. Програмний доступ за допомогою REST API доступний у оплачуваних проектах.
Для розробників

Запусти його у своєму трубопроводі

Цей тестер працює повністю на боці сервера. Ви надсилаєте URL, наш бекенд завантажує й розбирає robots.txt та оголошені sitemap, а потім заново відображає цю сторінку з результатами. Програмний REST API для CI/CD і масового аудиту доступний у платних планах Managed. Див. плани →

Розробник API

Використовувати його програмно

Кожен інструмент доступний через єдиний REST API з автентифікацією в планах Pro і API. Підключіть його до свого CI, CMS або дашбордів.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 Гаразд
{ "ok": true, "result": { ... } }
Отримати ключ API → Зацікавлений, на кожен дзвінок ціноутворення.
Перевіряйте всі сторінки сайту, а не по одній
Pro підключає Google Search Console, завантажує кожну сторінку, яку Google пропустив, кожну непрацюючу й кожну з низькими позиціями, і пише, що виправити на кожній.
Дізнатися, як працює Pro