🤖 Iňle

robots.txt we SaýtMapy Testçi

Her bir saýt URL'ini giriz. Biz onuň robots.txt we saýtmap.xml'ini serwerimizden alyp, size crawl direktiwalaryny we yglan edilen saýtmaplary görkezýäris, we ikinji bir mazmunyň aşak düşmegine sebäp bolan soragly-gat URL'lerini baglanýarys.

robots.txt we sitemap.xml nädip synlanmaly

Dört ädim, ýazma ýok. Eň uly barlag serwer tarapda işleýär.

1

Saýt URL'ini gapla

Her haçan bir saýtyň öý sahypasy URL'ini giriz. Robots.txt'e doly ýola mätäç dälsiň - biz ony hostdan alýarys.

2

Serwerden al

Biziň serwerimiz robots.txt we her bir yglan edilen sitemap.xml sorar, şonuň üçin barlag siziň brauzeriňiz ýa-da öz keşeňiz tarapyndan böklenmändir.

3

Direktiwleri we saýt maplary oka

Parçalanan ullanyjy-agenti toparlary, gadagan düzgünleri we bellik edilen saýtmaplar sanawyny, her birinden bir URL mysal bilen synla.

4

Baglançlary düzeltmek

Söýüji enjam ikinjisini aşak düşürmezden öň her hili soragly-gat URLleri ýa-da böklençli-amma indekslençli dartgynlylyklary çöz.

Bu synçy nämeni synlaýar

Bir sahypany çap etmekden öň biziň içerki işledýän şol bir goragly reýler.

📜

_Gözle

Her bir ullanyjy-agenti toparyny we onuň Izin/Izin berme düzgünlerini parslaýar, şonuň üçin nädip bloklanandygyňyzy doly görip bilersiňiz.

🗺️

Sahypa maplary

Robots.txt'de sözi geçen her bir saýt mätini sanaýar, her birini alyp, we onuň görnüşini we URL'ini habar berýär.

⚠️

Sorag-haty

Bu faýllary açmak üçin bir URL gerek.

🔗

Saglyky al

Robots.txt içinde yglan edilen saýt mäplerini hasap eder hakykatda hata, yzyna yzarlamak ýa-da XML däl - sessiz crawl killers.

Köp soralýan soraglar

Saýt mapyda bir soragly-kat URL müňlerçe ikinji gezek sahypalary döretmäge ukyply. Aýalmak motorlary olary söküp, aňşy mazmuny dürli parametrler astynda tapyp, ikinji gezek mazmun üçin bütin klasterni aşak düşürýär. Bu synçy olary bu bolup geçmezden öň baglanýar.
Haýba. Boş ýa-da ýok robots.txt diňe ähli söküşi mümkin edýä. Risk tersine: bir öwer-brend disallowe indekslenmek isleýän sahypalary bloklaýar ýa-da robots.txt içinde haýba dolanan saýt mapy bellik edýä.
Haýba. Biz robots.txt we onuň yglan eden saýt mapyny alyp, soňra her birinden URLs-iň bir nusgasyny okaýarys. Biz her sahypany rekursiwlik bilen sökmeýäris, şonuň üçin synag çalt we seniň serweriň ýüklenmez.
Eý, testçi azat we ýazgysyz. Programçilik elýeterliligi REST API arkaly tölegli dolandyrlan planlarda elýeterli.
⚙️ Programçiler üçin

Ony öz paýlaňda işlet

Bu synçy doly serwer tarapy işleýär — siz bir URL iberýärsiňiz, biziň arka tarapymyz robots.txt we bellik edilen saýt mapylary alyp we parslap, soňra bu sahypany netijeler bilen ýene render edýär. CI/CD we köpçülikleýin auditing üçin programmatik REST API tölegli dolandyr planlarda elýeterli. Planlary Gör →