Праверка robots. txt і карткі сайта
Увядзіце любы URL сайта. Мы атрымліваем яго robots. txt і sitemap. xml з нашага сервера, паказваем вам crawl директивы і абвешчаныя sitemaps, і флаг URLs sitemaps запыт- радок, якія выклікаюць дублікат- змест падзеньне.
Як праверыць robots.txt і sitemap.xml
Чатыры крокі, без рэгістрацыі. Уся праверка выконваецца на серверы.
Уставіць URL сайта
Enter any site's homepage URL. You don't need the full path to robots.txt, because we derive it from the host.
Мы атрымліваем з нашага сервера
Нашы серверы запрашаюць robots.txt і кожны абвешчаны sitemap.xml, так што тэст не заблякаваны вашым браўзэрам або вашым уласным кэшам.
Прачытаць дырэктывы і карты сайтаў
Праверка апрацаваных груп user- agent, правілаў адмаўлення і спісу абвешчаных мапаў сайтаў, з прыкладамі URL з кожнага.
Выправіць тое, што адзначана сцягамі
Адказ на любыя запыт-радок URLs sitemap або заблакаваны-але-індэксаваныя канфлікты перад пошукавым рухавіком зніжае дублікаты.
Што праверыць гэты тэст
Усе гэтыя рэчы былі знойдзеныя ў адной з вёсак, дзе знаходзілася вёска.
Дырэктывы прагляду
Праграма для аналізу групы user- agent і правілаў дазволу/ забароны, каб вы маглі ўбачыць, што менавіта блакуецца.
Абвешчаныя карты сайтаў
Спісвае ўсе карты сайтаў, якія змяшчаюцца ў robots.txt, атрымлівае іх і паведамляе пра іх тып і колькасць URL.
Напаўненне радка запыту
Спіс фільмаў, якія змяшчаюць тэксты, якія змяшчаюць тэксты, якія змяшчаюць тэксты, якія змяшчаюць тэксты, якія змяшчаюць тэксты.
Атрымаць стан
Catches sitemaps declared in robots.txt that error, redirect, or return non-XML. These are silent crawl killers.
Частыя пытанні
Выканаць у кантэйнеры
This tester runs entirely server-side. You submit a URL, our backend fetches and parses robots.txt and the declared sitemaps, then re-renders this page with the results. A programmatic REST API for CI/CD and bulk auditing is available on the paid managed plans. Паглядзець план →
Выкарыстоўваць яго па праграме
Every tool is available through one authenticated REST API on the Pro and API plans. Wire it into your CI, CMS, or dashboards.