Прагляд і індэксацыя

Праверка robots. txt і карткі сайта

Увядзіце любы URL сайта. Мы атрымліваем яго robots. txt і sitemap. xml з нашага сервера, паказваем вам crawl директивы і абвешчаныя sitemaps, і флаг URLs sitemaps запыт- радок, якія выклікаюць дублікат- змест падзеньне.

Як праверыць robots.txt і sitemap.xml

Чатыры крокі, без рэгістрацыі. Уся праверка выконваецца на серверы.

1

Уставіць URL сайта

Enter any site's homepage URL. You don't need the full path to robots.txt, because we derive it from the host.

2

Мы атрымліваем з нашага сервера

Нашы серверы запрашаюць robots.txt і кожны абвешчаны sitemap.xml, так што тэст не заблякаваны вашым браўзэрам або вашым уласным кэшам.

3

Прачытаць дырэктывы і карты сайтаў

Праверка апрацаваных груп user- agent, правілаў адмаўлення і спісу абвешчаных мапаў сайтаў, з прыкладамі URL з кожнага.

4

Выправіць тое, што адзначана сцягамі

Адказ на любыя запыт-радок URLs sitemap або заблакаваны-але-індэксаваныя канфлікты перад пошукавым рухавіком зніжае дублікаты.

Што праверыць гэты тэст

Усе гэтыя рэчы былі знойдзеныя ў адной з вёсак, дзе знаходзілася вёска.

📜

Дырэктывы прагляду

Праграма для аналізу групы user- agent і правілаў дазволу/ забароны, каб вы маглі ўбачыць, што менавіта блакуецца.

🗺️

Абвешчаныя карты сайтаў

Спісвае ўсе карты сайтаў, якія змяшчаюцца ў robots.txt, атрымлівае іх і паведамляе пра іх тып і колькасць URL.

⚠️

Напаўненне радка запыту

Спіс фільмаў, якія змяшчаюць тэксты, якія змяшчаюць тэксты, якія змяшчаюць тэксты, якія змяшчаюць тэксты, якія змяшчаюць тэксты.

🔗

Атрымаць стан

Catches sitemaps declared in robots.txt that error, redirect, or return non-XML. These are silent crawl killers.

Частыя пытанні

Адзін URL з радком запыту ў мапе сайта можа стварыць тысячы падобных старонак. Пошукавыя сістэмы праглядаюць іх, знаходзяць тое ж змест з рознымі параметрамі і зніжаюць кластар на падобны змест. Гэты тэст прадухіляе гэта.
Не. Адсутнасць або пустая robots. txt проста дазваляе прагляд. Рызыка з' яўляецца супрацьлеглым: занадта шырокая prohibition, якая блакуе старонкі, якія вы хочаце індэксаваць, або карта сайта, абвешчаная ў robots. txt, якая вяртае памылку.
Не. Мы атрымліваем robots.txt і слайд-шоў, якія ён абвяшчае, а затым чытаем прыклад URL з кожнага. Мы не рэкурсіўна праглядаем кожную старонку, таму тэст хуткі і не загружае ваш сервер.
Так, тэставанне бясплатна без рэгістрацыі. Праграмны доступ праз REST API даступны на платных кіруемых планах.
Для распрацоўшчыкаў

Выканаць у кантэйнеры

This tester runs entirely server-side. You submit a URL, our backend fetches and parses robots.txt and the declared sitemaps, then re-renders this page with the results. A programmatic REST API for CI/CD and bulk auditing is available on the paid managed plans. Паглядзець план →

API распрацоўшчыка

Выкарыстоўваць яго па праграме

Every tool is available through one authenticated REST API on the Pro and API plans. Wire it into your CI, CMS, or dashboards.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
Добра
{ "ok": true, "result": { ... } }
Атрымаць ключ API → Памер, цана за выклік. Бясплатны ўзровень для інтэрактыўных інструментаў вышэй.
Check every page of your site, not one at a time
Pro connects Google Search Console, fetches every page Google skipped, every broken page and every page that ranks low, and writes what to fix on each one.
See how Pro works