🤖 Crawl & indeksācija

robots.txt & Sitemap Tester

Ievadiet jebkuru vietnes URL. Mēs ielādējam tās robots.txt un sitemap.xml no mūsu servera, parādiet jums rāpuļu direktīvas un deklarētas sitemap, un karoga vaicājumu-string sitemap URL, kas izraisa dublikāts satura demotions.

Kā pārbaudīt robots.txt un sitemap.xml

Četri soļi, nav pierakstīšanās. Visa pārbaude palaiž servera pusē.

Ievietot vietnes URL

Ievadiet jebkuras vietnes mājas lapas URL. Jums nav nepieciešams pilns ceļš uz robots.txt — mēs to iegūstam no datora.

Mēs ielādējam no mūsu servera

Mūsu serveris pieprasa robots.txt un katru deklarēto sitemap.xml, tāpēc tests nav bloķēts ar jūsu pārlūkprogrammu vai savu kešatmiņu.

Izlasiet direktīvas un tīmekļvietnes

Pārskatīt parsētās lietotāju-aģentu grupas, aizliegto noteikumu un deklarēto Sitemap sarakstu, ar URL paraugu no katra.

Noregulēt to, kas ir atzīmēts

Novērst jebkuru vaicājumu-string sitemap URL vai bloķētu-but-indexed konfliktus, pirms meklētājprogramma demogrāfi.

Ko šis testētājs pārbauda

Tie paši aizsargrailži, kurus mēs skrienam iekšēji, pirms publicējam vienu lapu.

📜

Crawl direktīvas

Parbauda katru lietotāju-aģentu grupu un tās Atļauju / Atļauju noteikumus, lai jūs varētu redzēt, kas ir bloķēts.

🗺️

Deklarētās tīmekļa kartes

Uzskaita katru saitap, uz kuru attiecas atsauce robots.txt, ielādē katru, un ziņo par tās veidu un URL skaitu.

⚠️

Cquet- string bloat

Karogi vaicājumi-string sitemap URLs, kas sēj tuvu-duplicate lapas un izraisa dublikāta satura demotions.

🔗

Sūtījumu veselība

Noķer sitemaps deklarēts robots.txt ka kļūda, pārvirzīt, vai atgriezt ne-XML – kluss rāpuļu slepkavas.

Bieži uzdotie jautājumi

Viens vaicājumu virknes URL sitemap var sēt tūkstošiem tuvu dublicētu lapu. Meklēšanas dzinēji rāpo tos, atrod to pašu saturu dažādos parametrus un demotē visu klasteri, lai dublikātu saturu. Šis testētājs tos pirms tam atzīmē.

Nē. Trūkst vai tukšs robots.txt vienkārši ļauj visiem rāpot. Risks ir pretējs: pārāk plašu aizliegt, ka bloķē lapas vēlaties indeksēts, vai sitemap deklarēts robots.txt, kas atgriež kļūdu.

Nē. Mēs ielādējam robots.txt un sitemaps tā deklarē, tad izlasiet paraugu URL no katra. Mēs rekursīvi nerāpot katru lapu, tāpēc tests ir ātri un neielādēt jūsu serveri.

Jā, testētājs ir bez maksas bez pierakstīšanās. Programmātiska piekļuve ar REST API ir pieejama apmaksātajos pārvaldītajos plānos.

⚙️ Izstrādātājiem

Ieslēdziet cauruļvadā

Šis testētājs darbojas pilnīgi servera pusē — jūs iesniedzat URL, mūsu aizmuguri ielādē un parses robots.txt un deklarēto Sitemaps, tad atkārtoti iesakņo šo lapu ar rezultātiem. Programmatic REST API CI / CD un biroudit ir pieejams apmaksāti pārvaldītos plānos. Skatīt plānus →