🤖 Araştırma & indeksleme

robots.txt ve Site Haritası Testcisi

Herhangi bir site URL'sini girin. Sunucumuzdan robots.txt ve sitemap.xml dosyalarını alıyoruz, size tarayıcı yönergelerini ve ilan edilmiş site haritalarını gösteriyoruz ve çift içerik düşüşlerine neden olan sorgu-sözcük site harita URL'lerini işaretliyoruz.

Robots.txt ve sitemap.xml'yi nasıl test edeceğiz

Dört adım, kayıt yok, tüm kontrol sunucu tarafında yapılıyor.

Site URL'sini yapıştır

Enter any site's homepage URL. You don't need the full path to robots.txt — we derive it from the host.

Sunucumuzdan alıyoruz

Sunucumuz robots.txt dosyasını ve her ilan edilen sitemap.xml dosyasını talep eder, böylece test tarayıcınız veya kendi önbelleğiniz tarafından engellenmez.

Yönergeleri ve site haritalarını oku

Parçalanmış kullanıcı-ajan gruplarını inceleyin, kuralları ve ilan edilen site haritalarının listesini her birinden bir URL örneği ile engelleyin.

Bayraklanmış olanları düzelt

Bir arama motoru kopyaları düşürmeden önce herhangi bir sorgu-sözcük site haritası URL'leri veya engellenmiş-ama indekslenmiş çatışmaları çözün.

Bu test cihazının kontrol ettiği şeyler

Tek bir sayfa yayınlamadan önce içimizde yürüttüğümüz aynı koruma parmaklıkları.

📜

Crawl talimatları

Her kullanıcı- ajan grubu ve onun İzin / İzin Verme kurallarını analiz eder, böylece tam olarak neyin engellendiğini görebilirsiniz.

🗺️

Belirlenen site haritaları

Robots.txt'de referans gösterilmiş her site haritası listeler, her birini alır ve türünü ve URL sayısını rapor eder.

⚠️

Soru-sözcük büyümesi

Neredeyse eşdeğer sayfaları tohumlayan ve eşdeğer içerik düşüşlerini tetikleyen sorgu-sözcük site haritası URL'lerini bayraklar.

🔗

Sağlık getir.

Robots.txt'de açıklanan site haritalarını yakalayın hata, yeniden yönlendirme veya XML olmayan geri döndürme - sessiz crawl killers.

Sıkça Sorulan Sorular

Site haritasındaki tek bir sorgu-sözcük URL'si binlerce neredeyse eşdeğer sayfayı ekebilir. Arama motorları bunları tarayarak, farklı parametrelerde aynı içeriği bulur ve eşdeğer içerik için bütün kümeyi düşürür. Bu testci bunları bunun olmasından önce işaretler.

Hayır. Eksik veya boş robots.txt sadece tüm taramaya izin verir. Risk tam tersi: indekslenmek istediğiniz sayfaları engelleyen aşırı geniş bir reddetme veya robots.txt'de açıklanan bir site haritası hata verir.

Hayır. Robots.txt dosyasını ve site haritalarını alıyoruz, sonra her birinden URL örnekleri okuyoruz. Her sayfayı geri döndürücü olarak taramıyoruz, bu yüzden test hızlı ve sunucunuzu yüklemez.

Evet, test cihazı kayıt olmaksızın ücretsizdir. REST API üzerinden programlama erişimi, ücretli yönetilen planlarda mevcuttur.

⚙️ Geliştiriciler için

Boru hattında çalıştır.

Bu test cihazı tamamen sunucu tarafında çalışır — bir URL gönderirsiniz, arka planımız robots.txt ve ilan edilen site haritalarını alır ve analiz eder, sonra bu sayfayı sonuçlarla yeniden çiziyor. CI/CD ve toplu denetim için bir programlı REST API, ücretli yönetilen planlarda mevcuttur. Planları gör →