🤖 Индекстөө

robots.txt жана сайт картасын текшергич

Сайттын URL дарегин киргизиңиз. Биз серверден анын robots.txt жана sitemap.xml файлдарын алып, скрепердик директиваларды жана жарыяланган сайт карталарын көрсөтүп, дубликат мазмундун төмөндөгөнүнө себеп болгон суроо-талап тизмегинин URL дарегин белгилейбиз.

Robots.txt жана sitemap.xml кантип текшерүү керек

Төрт кадам, каттоосуз. Бардык текшерүү сервер тараптан жүргүзүлөт.

1

Сайттын URL дарегин коюу

Сайттын үй бетинин URL дарегин киргизиңиз. Robots.txt файлынын толук жолун киргизүү зарыл эмес, биз аны хосттон табабыз.

2

Серверден алуу

Сервер требует robots.txt и каждый объявленный sitemap.xml, поэтому тест блокируется браузером или собственным кешом.

3

Директиваларды жана сайт карталарын окуу

Просмотреть анализированные группы пользователей-агентов, правила отказа и список объявленных сайтовых карт, с URL-примерами из каждого.

4

Белгиленгенди оңдоо

Изучение любых запросов-строк с сайтмапами URL или блокированных-но-индексированных конфликтов до того, как поисковая система снизит дубликаты.

Бул тестирлөөчү эмнени текшерет

Бир гана бетти жарыялагандан мурун биз ички түрдө жүргүзгөн ошол эле коргонуу.

📜

Директивалар

Ар бир колдонуучу-агент тобун жана анын уруксат берүү/бербөө эрежелерин талдайт, ошондуктан эмне блоктолуп жатканын так көрө аласыз.

🗺️

Декларацияланган сайт карталары

Robots.txt файлында көрсөтүлгөн ар бир сайт картасын көрсөтүү, ар бирин алуу, анын түрү жана URL саны жөнүндө билдирүү.

⚠️

Запрос строки

Запрос-строка с сайтмапой URL-адресов, которые распространяют почти дублирующиеся страницы и вызывают понижение дубликатов.

🔗

Саламаттыкты алуу

Robots.txt файлында жарыяланган сайт карталарын ката, кайра багыттоо же XML эмести кайтаруу үчүн - үнсүз кралдын өлтүргүчтөрүн - кармайт.

Кайра-кайра берилүүчү суроолор

Сайт картасындагы бир гана суроо-талап баракчасынын URL-адреси миңдеген дубликат беттерди жаратышы мүмкүн. Издөө тутумдары аларды издеп, бирдей мазмунду ар кандай параметрлер менен таап, дубликат мазмундун бар экендигин аныктагандан кийин, бүт кластерди төмөндөтөт. Бул тестирлөөчү аларды мындай болушун алдын ала белгилейт.
Жок. Robots.txt файлы жок же бош болсо, анда ал бардык издөөлөргө уруксат берет. Окуялардын кесепети дал ушул: өтө кеңири disable параметри индекстелип жаткан барактарды блоктойт, же robots.txt файлында жарыяланган сайт картасы катаны кайтарат.
Жок. Мы получаем robots.txt и сохраненные в нем спутниковые карты, а затем из каждого из них читаем пример URL. Мы не выполняем рекурсивное просмотр всех страниц, поэтому тест быстро выполняется и сервер не загружается.
Ооба, тестирлөөчү акысыз жана каттоосуз иштейт. REST API аркылуу программалык кирүү акы төлөнүүчү башкаруу пландарында мүмкүн.
⚙️ Жашоочулар үчүн

Конвейерде аткаруу

Бул тестирлөөчү толугу менен сервердик жактан иштейт - сиз URL-адресин жөнөтөсүз, биздин backend robots.txt жана жарыяланган сайт карталарын алып, анализдеп, андан кийин бул баракчаны натыйжалар менен кайрадан көрсөтөт. CI/CD жана массалык аудит үчүн программалык REST API төлөнүүчү башкарылган пландарда бар. Пландарды көрүү →