🤖 Прагляд і індэксацыя

Праверка robots. txt і карткі сайта

Увядзіце любы URL сайта. Мы атрымліваем яго robots. txt і sitemap. xml з нашага сервера, паказваем вам crawl директивы і абвешчаныя sitemaps, і флаг URLs sitemaps запыт- радок, якія выклікаюць дублікат- змест падзеньне.

Як праверыць robots.txt і sitemap.xml

Чатыры крокі, без рэгістрацыі. Уся праверка выконваецца на серверы.

1

Уставіць URL сайта

Увядзіце URL хатняй старонкі любога сайта. Вам не патрэбен поўны шлях да robots. txt - мы атрымаем яго ад вузла.

2

Мы атрымліваем з нашага сервера

Нашы серверы запрашаюць robots.txt і кожны абвешчаны sitemap.xml, так што тэст не заблякаваны вашым браўзэрам або вашым уласным кэшам.

3

Прачытаць дырэктывы і карты сайтаў

Праверка апрацаваных груп user- agent, правілаў адмаўлення і спісу абвешчаных мапаў сайтаў, з прыкладамі URL з кожнага.

4

Выправіць тое, што адзначана сцягамі

Адказ на любыя запыт-радок URLs sitemap або заблакаваны-але-індэксаваныя канфлікты перад пошукавым рухавіком зніжае дублікаты.

Што праверыць гэты тэст

Усе гэтыя рэчы былі знойдзеныя ў адной з вёсак, дзе знаходзілася вёска.

📜

Дырэктывы прагляду

Праграма для аналізу групы user- agent і правілаў дазволу/ забароны, каб вы маглі ўбачыць, што менавіта блакуецца.

🗺️

Абвешчаныя карты сайтаў

Спісвае ўсе карты сайтаў, якія змяшчаюцца ў robots.txt, атрымлівае іх і паведамляе пра іх тып і колькасць URL.

⚠️

Напаўненне радка запыту

Спіс фільмаў, якія змяшчаюць тэксты, якія змяшчаюць тэксты, якія змяшчаюць тэксты, якія змяшчаюць тэксты, якія змяшчаюць тэксты.

🔗

Атрымаць стан

У тэксце кнігі «Пра ідэю» (1988) ён выказаўся супраць ідэі «неадназначнасці» і «неадназначнасці» ідэі.

Частыя пытанні

Адзін URL з радком запыту ў мапе сайта можа стварыць тысячы падобных старонак. Пошукавыя сістэмы праглядаюць іх, знаходзяць тое ж змест з рознымі параметрамі і зніжаюць кластар на падобны змест. Гэты тэст прадухіляе гэта.
Не. Адсутнасць або пустая robots. txt проста дазваляе прагляд. Рызыка з' яўляецца супрацьлеглым: занадта шырокая prohibition, якая блакуе старонкі, якія вы хочаце індэксаваць, або карта сайта, абвешчаная ў robots. txt, якая вяртае памылку.
Не. Мы атрымліваем robots.txt і слайд-шоў, якія ён абвяшчае, а затым чытаем прыклад URL з кожнага. Мы не рэкурсіўна праглядаем кожную старонку, таму тэст хуткі і не загружае ваш сервер.
Так, тэставанне бясплатна без рэгістрацыі. Праграмны доступ праз REST API даступны на платных кіруемых планах.
⚙️ Для распрацоўшчыкаў

Выканаць у кантэйнеры

Гэты тэст працуе цалкам на серверы - вы падаеце URL, наш backend атрымлівае і аналізуе robots.txt і абвешчаныя мапы сайтаў, а затым перарэндуе гэтую старонку з вынікамі. Праграмны REST API для CI / CD і масавага агляду даступны на платных кіруемых планах. Паглядзець план →