🤖 Хуваалцах

robots. txt & Системийн зураг

Ямар ч сайтын URL- ийг оруулна уу. Бид серверээс нь robots. txt болон sitemap. xml файлуудыг авч, хайлтын заавар болон зарласан слайдшоу- уудыг харуулж, дутуу агуулгатай слайдшоу URL- уудыг тэмдэглэнэ.

robots.txt болон sitemap.xml-ийг хэрхэн шалгах вэ

Гурван алхам, бүртгэл байхгүй. Бүх шалгалт серверийн талд явагддаг.

Сайтын URL- ийг хавсарга

Ямар ч сайтын эхний хуудсын URL- ийг оруулна уу. robots. txt файлын бүрэн зам шаардлагагүй - бид үүнийг хостоос олж авдаг.

Серверээс авч байна

Манай сервер robots.txt файлыг болон бүх зарласан сitemap.xml файлыг шаарддаг, тиймээс тестийг таны вэб хөтөч эсвэл өөрийн кэш нь хаадаггүй.

Системийн дүрмийг унш

Тодорхойлсон хэрэглэгчийн агентуудын бүлгүүдийг шалгах, зөвшөөрөхгүй дүрэм болон сайтын газрын зураг, URL- ийн жишээг харуулсан жагсаалтыг шалгах.

Бүртгэлийг засварлах

Бүх асуулт-string слайд зураг URLs эсвэл блок- гэхдээ индексжүүлсэн зөрчил хайлтын хөдөлгүүр дутуу дулимаг бууруулахаас өмнө шийдвэрлэх.

Энэ туршигч юуг шалгах вэ

Бидний нэг хуудас нийтлэхээс өмнө хийдэг шиг л хамгаалалтын хаалт.

📜

Хуваалцах

Бүх хэрэглэгч- агентын бүлгүүдийг, түүний зөвшөөрөх / хориглох дүрмүүдийг судалж, юуг хаасан байгааг тодорхой харуулна.

🗺️

Системийн зураг

robots. txt файлд орсон бүх сэйтийн зурагуудыг жагсааж, тэдгээрийг авч, тэдгээрийн төрөл болон URL тоог мэдээлнэ.

⚠️

Асуултын мөрний бөглөрөл

Бүх хуудас

🔗

Эрүүл мэндийг авах

Robots.txt файлд мэдэгдсэн слайд картуудыг алдаа, дахин чиглүүлэх, эсвэл XML-гүйгээр буцаах - дуугүй гүйлтийг устгагч.

Жишээ асуултууд

Системийн зураг дээрх нэг асуулт- мөр URL нь мянга мянган дутуу хуудас үүсгэж болно. Хэрэглэгч хайлтын системийг ашиглан, дутуу хуудасуудыг олж, дутуу хуудасуудыг устгана. Энэ туршигч нь дутуу хуудасуудыг илрүүлэхээс өмнө тэмдэглэнэ.

Үгүй. robots. txt файл байхгүй эсвэл хоосон байвал бүх хайлтыг зөвшөөрнө. Эсвэл robots. txt файлд заасан слайд карт нь алдаа гаргана.

Үгүй. Бид robots.txt файл болон түүний зарласан сэйтийн зурагуудыг авч, тэдгээрээс URL-ийн жишээг уншдаг. Бид бүх хуудсыг дахин хайж үздэггүй, тиймээс туршилт хурдан бөгөөд серверийг ачаалдаггүй.

Тийм ээ, туршигч нь бүртгэлгүйгээр үнэгүй. REST API-ийн програм хангамжийн нэвтрэлт нь төлбөртэй удирдсан төлөвлөгөөнд байдаг.

⚙️ Хөгжүүлэгчид

Контейнерт нь ажиллуул

Энэ тестер нь серверийн талд ажилладаг - та URL-г илгээнэ, бидний backend robots.txt болон зарласан сити картуудыг авч, боловсруулж, дараа нь энэ хуудсыг үр дүнтэй дахин харуулна. CI/CD болон төлбөртэй удирдсан төлөвлөгөөнд багц аудит хийхэд зориулсан програмчлалын REST API. Төлөвлөгөөг харах →