🤖 Переміщення та індексування

Тестування robots. txt і веб-карти

Введіть будь- яку адресу сайта. Ми отримуємо дані з її robots. txml і map сайта з нашого сервера, демонструємо директиви зі складанням ролей і підписаними картами сайтів, а також позначимо адреси URL- підрядків, які спричиняють подвійні відсутності.

Як перевірити robots. txt і сайтmap. xml

Чотири кроки, без підписки.

1

Вставити адресу URL сайта

Введіть адресу домашньої сторінки будь- якого сайта. Вам не потрібен повний шлях до роботів. txt ⇩ Ми виводимо її з вузла.

2

Ми отримуємо з нашого сервера

Наш сервер просить про запити на robots.txt і всі оголошені сайти.xml, отже тест не блокується вашим навігатором або вашим власним кешем.

3

Прочитайте директиви і карти сайтів

Переглядати оброблені групи агентів користувача, правила, які не можна використовувати, та список оголошених карт сайтів, з вибіркою URL з кожної з них.

4

Виправити прапорець

Вирішіть будь- які адреси адрес карти запитів або заблоковані- але- включені конфлікти, перш ніж рушій пошуку демонструє дублікати.

Перевірка цього тестувальника

Ми працюємо у цих самих сторожових прилавках перед тим, як опублікувати одну сторінку.

📜

Директиви пересування

Аналізує кожну групу користувача і його правила Дозволити / Заборонити, щоб ви могли бачити точно те, що заблоковано.

🗺️

Оголошення карт сайтів

Показує список всіх карт сайтів, на яких посилається робота. txt, отримує кожну з них і повідомляє про тип і кількість адрес URL.

⚠️

Рядок запиту

Прапорці Стримки адреси сайта query- line, які буде створено близько сторінок і запущено дублікати відбиття.

🔗

Отримати здоров'я

Перехоплює карти сайтів, які було оголошено у роботах. txt про помилку, пересилання або повернення не-XML } Тихих убивць зі шляху.

Часті запитання

Один рядок URL запиту на карті сайта може містити тисячі сторінок, які знаходяться близько до нього. Пошукові рушії прошифровують їх, знаходять вміст, що знаходиться за різними параметрами, і віддаляють ціле кластер для дублікатів вмісту. Цей тестувальник позначає їх перед тим, як це станеться.
Ні. Відсутні або порожні роботи. txt просто дозволяють всім повзати. Ризик є протилежним: перезаправа не дає вам індексувати сторінки, які ви бажаєте індексувати, або карта сайтів, яку було оголошено у файлі robots. txt, яка повертає помилку.
Ні. Ми отримуємо robots. txt і карти сайтів, які програма сповіщає, а потім читаємо зразок URL з кожного з них. Ми не перепроситимемо дані у рекурсивному режимі кожної сторінки, отже тест швидко працює і не завантажуватиме ваш сервер.
Так, тестувальник вільний без підписок. Програмний доступ за допомогою REST API доступний у оплачуваних проектах.
⚙️ Для розробників

Запусти його у своєму трубопроводі

Цей тест працює повністю на сервері- поруч } Ви отримуєте адресу URL, наш сервер отримує і обробляє роботи. txt і оголошені карти сайтів, а потім повторно виконує цю сторінку з результатами. Програмний програмний програмний інтерфейс SEST для CI/CD і перевірки громіздких аудиторій можна отримати за допомогою оплачуваних керованих планів. Див. плани →