🤖 Crawl & indeksavimas

robots.txt & Sitemap testas

Įveskite bet kokį svetainės URL. Mes gauname savo robotus.txt ir sitemap.xml iš mūsų serverio, parodyti jums ropling direktyvų ir deklaruoti Sitemap, ir vėliavos užklausų-streing Sitemap URL, kurie sukelia dvigubą turinį demotions.

Kaip išbandyti robots.txt ir sitemap.xml

Keturi žingsniai, be užregistravimo. Visas patikrinimas vykdomas serverio pusėje.

Įdėti tinklalapio URL

Įveskite bet kurios svetainės interneto svetainės URL. Jums nereikia pilno kelio į robots.txt — mes jį išeiname iš kompiuterio.

Mes gauname iš mūsų serverio

Mūsų serveris reikalauja robots.txt ir kiekvieną deklaruotą Sitemap.xml, todėl testas nėra užblokuotas jūsų naršyklė ar savo talpykla.

Skaityti direktyvas ir sitemap

Peržiūrėkite apie dorotas naudotojo ir agento grupes, neleidimo taisykles ir deklaruotų Sitemap sąrašą, su URL mėginį iš kiekvieno.

Pataisyti tai, kas pažymėta

Išspręsti bet užklausų eilėje Sitemap URL arba užblokuoti-bet-index konfliktų prieš paieškos sistema demotes dublikatus.

Ką šis testeris tikrina

Tą patį, prieš išleisdami vieną puslapį, bėgame viduje.

📜

Vėjo laužo direktyvos

Aptinka kiekvieną vartotojų agentų grupę ir jos Leisti / Atleisti taisykles, kad jūs galite pamatyti tiksliai, kas yra užblokuota.

🗺️

Deklaruoti tinklalapiai

Sąrašą kiekvieną svetalapis nuoroda į robots.txt, gauna kiekvieną, ir praneša jo tipą ir URL skaičių.

⚠️

Užklausos eilinis kloatas

Žymos užklausos-styginių tinklalapių URL, kad sėkla beveik dubliuoti puslapius ir sukelti dvigubą turinį demotions.

🔗

Atvežimo sveikata

Sugavimo svetainėse, deklaruotos robots.txt kad klaida, nukreipimas, arba grąžinti ne-XML – tylus ropliai žudikai.

Dažnai užduodami klausimai

Vienas užklausų eilutės URL Sitemap gali sėti tūkstančius beveik dvigubų puslapių. Paieškos varikliai juos nurūžta, rasti tą patį turinį pagal skirtingus parametrus ir nutrinti visą klaselį, kad dubliuotų turinį. Šis testas vėliavos prieš tai.

Ne. Trūksta arba tuščias robots.txt tiesiog leidžia visiems ropsėti. Rizika yra priešinga: per plačiame ribojimas, kad blokuoti puslapius norite indeksuoti, arba Sitemap paskelbtas robots.txt, kad grįžta klaida.

Ne. Mes gauname robots.txt ir svetalapius, kuriuos ji deklaruoja, tada skaityti iš kiekvieno URL pavyzdį. Mes nerekursyviai ropšti kiekvieną puslapį, todėl testas yra greitai ir nebus įkelti jūsų serveris.

Taip, testas yra nemokamas be registracijos. Programinė prieiga per REST API yra prieinama už atlygį administruojamuose planuose.

⚙️ Programuotojai

Paleiskite jį į dujotiekį

Šis testas veikia visiškai serverio pusėje — jūs pateikiate URL, mūsų užnugaris gauna ir parses robots.txt ir deklaruotas Sitemap, tada iš naujo įstrižai šį puslapį su rezultatais. Programmatic REST API CI / CD ir biro auditas yra prieinamas mokamų valdomų planų. Žr. planus →