🤖 Indeksiranje

robots.txt & Sitemap Tester

Unesite bilo koji URL stranice. Mi ćemo preuzeti robots.txt i sitemap.xml sa našeg servera, pokazati vam crawl direktive i deklarirane sitemaps, i označiti URL sitemap string upita koji uzrokuju duplikat sadržaja degradacije.

Robots.txt i sitemap.xml

Četiri koraka, bez registracije, cijela provjera se vrši na serveru.

Zalijepi URL stranice

Unesite URL početne stranice bilo kojeg web-mjesta. Ne treba vam puni put do robots.txt — mi ga dobijamo od domaćina.

Dobili smo sa servera

Naš server traži robots.txt i svaki deklarirani sitemap.xml, tako da test nije blokiran od strane vašeg preglednika ili vašeg vlastitog cachea.

Pročitaj direktive i mape stranica

Pregledaj analizirane grupe korisnika-agenata, zabrani pravila i listu deklariranih sitemap-a, sa URL uzorkom iz svakog.

Popravi šta je označeno

Resolve any query-string sitemap URLs or blocked-but-indexed conflicts before a search engine degrades the duplicates.

Šta ovaj tester provjerava

Istim zaštitnim rukohvatima koje koristimo interno prije objavljivanja jedne stranice.

📜

Direktive za crawl

Analizira svaku grupu korisničkih agenata i njena pravila dozvole/nedozvole tako da možete tačno vidjeti šta je blokirano.

🗺️

Deklaracije

Popis svih sitemap referencirani u robots.txt, dohvaća svakizvještava o svojoj vrsti i URL broj.

⚠️

Upit-string napuhavanje

Flags query-string sitemap URLs that seed near-duplicate pages and trigger duplicate-content demotions.

🔗

Dovedi zdravlje

Uhvatiti sitemaps deklarirane u robots.txt koji grešku, preusmjeravanje, ili vratiti non-XML - tiho crawl ubice.

Često postavljana pitanja

Jedan URL string upita u mapi stranice može posaditi hiljade skoro duplikatnih stranica. Pretraživači ih pretražuju, pronalaze isti sadržaj pod različitim parametrima, i degradiraju cijeli klaster za duplikat sadržaj. Ovaj tester ih označava prije nego što se to desi.

Ne. Nedostaje ili je prazan robots.txt jednostavno dozvoljava sve indeksiranje. Rizik je suprotan: preširok disallow koji blokira stranice koje želite indeksirati, ili sitemap deklariran u robots.txt koji vraća grešku.

Ne. Mi dohvatimo robots.txt i sitemaps koje on deklarira, onda pročitamo uzorak URL-ova iz svakog. Mi ne rekurzivno pretražujemo svaku stranicu, tako da je test brz i neće učitati vaš server.

Da, tester je besplatan bez registracije. Programski pristup preko REST API je dostupan na plaćenim upravljanim planovima.

⚙️ Za programere

Pokrenite ga u vašoj cijevi

Ovaj tester radi u potpunosti na serverskoj strani - vi šaljete URL, naš backend dohvaća i analizira robots.txt i deklarirane sitemaps, zatim ponovno renderuje ovu stranicu sa rezultatima.Programski REST API za CI/CD i masovno auditiranje dostupno je na plaćenim upravljanim planovima. Vidi planove →