🤖 İndeksləmə

robots.txt & Sitemap Testeri

Hər hansı bir sayt URL-ni daxil edin. Biz onun robots.txt və sitemap.xml fayllarını vericimizdən alırıq, sizə crawl direktivlərini və elan edilmiş sitemapları göstəririk və təkrar-məzmun aşağılamasına səbəb olan sorğu-çarx sitemap URL-lərini işarələyirik.

robots.txt və sitemap.xml necə test etmək olar

Dörd addım, qeydiyyat yoxdur. Bütün yoxlama server tərəfində gedir.

Sayt Ünvanını _Yaxınlaşdır

Hər hansı bir saytın ev səhifəsinin Ünvanını daxil et. robots.txt-nin tam cığırı lazım deyil - biz onu qovşaqdan götürürük.

Vericidən al

Serverimiz robots.txt və hər bir elan edilmiş sitemap.xml faylını tələb edir, buna görə də test brauzeriniz və ya öz ön yaddaşınız tərəfindən bloklanmır.

Sənədləri və sitemapları oxu

Parçalanmış istifadəçi agent qruplarını, qadağan qaydalarını və elan edilmiş saytın xəritələrini, hər birinin URL nümunəsi ilə nəzərdən keçir.

Bağlan

Axtarış motoru təkrarları aşağı salmadan əvvəl istənilən sorğu-string sayt xəritəsi URL-lərini və ya bloklanmış-amma-indekslənmiş ziddiyyətləri həll et.

Bu testçinin yoxladığı şeylər

Bir səhifəni çap etməzdən əvvəl daxili olaraq işlədiyimiz eyni qoruyucu divarlar.

📜

_Sürücü

Hər bir istifadəçi agent qrupunu və onun İcazə / Qadağan qaydalarını analiz edir ki, bloklanmış şeyləri dəqiq görə biləsiniz.

🗺️

Sitemap

robots.txt-də göstərilən hər bir saytın xəritəsini siyahıya alır, hər birini alır və onun növünü və URL sayını bildirir.

⚠️

Sorğu-çarx böyüyür

Yaxın-təkrar səhifələri əkən və təkrar-məzmun aşağılamasını başladan sorğu-çarx sayt xəritəsi URL-lərini bayraqlarla qeyd et.

🔗

Sağlamlığı götür

Robots.txt-də səhv, yenidən yönləndirmə və ya XML-dən başqa bir şeyi geri qaytaran sitemapları tutur - səssiz crawl killers.

Tez-tez soruşulan suallar

Sayt xəritəsindəki tək sorğu-çarx Ünvanı minlərlə təsadüfən təkrarlanan səhifələri əkə bilər. Axtarış motorları onları araşdıraraq eyni məzmunu fərqli parametrlər altında tapa bilər və təkrarlanan məzmun üçün bütün klasteri aşağı sala bilər. Bu testçi bunu baş verməzdən əvvəl onları işarələyir.

Xeyr. Robots.txt-in yoxluğu ya da boşluğu bütün axtarışa icazə verir. Risk isə əksinədir: indekslənməsini istədiyiniz səhifələri bloklayan çox geniş disable ya da robots.txt-də xəta verə biləcək səhifə xəritəsi elan edilir.

Xeyr. Robots.txt və onun elan etdiyi saytın xəritələrini alırıq, sonra hər birindən URL nümunəsini oxuyuruq. Biz hər səhifəni rekursiv olaraq axtarmırıq, buna görə də test sürətlidir və serverinizi yükləməyəcəkdir.

Bəli, testçi qeydiyyat olmadan pulsuzdur. REST API vasitəsilə proqramlaşdırma çıxışı ödənişli idarə olunan planlarda mövcuddur.

⚙️ Yaradıcılar üçün

Onu boruda işlət

Bu testçi server tərəfində tam olaraq işləyir - siz URL göndərirsiniz, bizim arxa tərəfimiz robots.txt və elan edilmiş sitemapları alır və analiz edir, sonra bu səhifəni nəticələrlə yenidən göstərir. CI/CD və kütləvi audit üçün bir proqram REST API ödənişli idarə olunan planlarda mövcuddur. Planları Gör →