robots.txt ۋە سېتىۋېلىش خاتىرىسىنى سىناش پروگراممىسى
ھەرقانداق تور بېكەتنىڭ URL نى كىرگۈزۈڭ. بىز بۇ تور بېكەتنىڭ robots.txt ۋە sitemap.xml ھۆججىتىنى مۇلازىمېتىرىمىزدىن ئالىمىز، سىزگە crawl بۇيرۇقىنى ۋە ئېلان قىلىنغان sitemap نى كۆرسىتىمىز، ھەمدە سىزنىڭ تور بېكەتنىڭ URL نى سىزىپ قويىمىز.
robots.txt ۋە sitemap.xml نى قانداق سىناش كېرەك
تۆت باسقۇچلۇق، كىرگۈزمەسلىك. ھەممىسى تەتقىقات ئۈچۈن مۇلازىمېتىر تەرەپتىن ئىشلىنىدۇ.
تور بېتىنىڭ URL نى چاپلاش
ھەرقانداق تور بېكەتنىڭ تور بېتىگە URL نى كىرگۈزۈڭ. robots.txt ھۆججىتىنىڭ تولۇق يولىنى كۆرسىتىشىڭىز كېرەك ئەمەس، بۇ ھۆججەت تور بېكەتنىڭ ھۆججىتىدىن ئېلىنغان.
بىز مۇلازىمېتىرىمىزدىن ئالىمىز
بىزنىڭ مۇلازىمىتىمىز robots.txt ۋە ھەر بىر ئېلان قىلىنغان sitemap.xml نى تەلەپ قىلىدۇ، شۇڭا سىناق سىلەرنىڭ كۆرگۈڭىز ياكى ئۆزىڭىزنىڭ غەيرىي ئېنىقلاش خاتىرىسى تەرىپىدىن توسالغۇغا ئۇچرىمايدۇ.
بۇيرۇق ۋە سېتىۋېلىش خاتىرىسىنى ئوقۇش پروگراممىسى
تەھلىل قىلىنغان ئىشلەتكۈچى-ئاگىنت گۇرۇپپىسىنى تەكشۈرۈش، چەكلەش قائىدىلىرىنى ۋە ئېلان قىلىنغان سېتىۋېلىپ تىزىملىكىنى، ھەر بىرىنىڭ URL نى تەكشۈرۈش.
بېكىتىلگەن نەرسىلەرنى تۈزەش
ئىزدەش ماشىنىسى ئىككىلىسىدىن بىرىنى تۆۋەنلىتىپ قويۇشتىن بۇرۇن ھەرقانداق سورىغان-سۈرەت سېتىۋېلىش خاتىرىسى URL ياكى توسالغۇلانغان-لېكىن ئىزاھلانغان توقۇنۇشنى ھەل قىلىدۇ.
بۇ سىناقچى نېمىنى تەكشۈرىدۇ
بىرەر بەت ئېلان قىلىشتىن بۇرۇن بىز ئىچىمىزدە ئۆتكۈزگەن ئوخشاشلا ساقچىلار.
Crawl بۇيرۇقلىرى
ھەر بىر ئىشلەتكۈچى-ئاگىنت گۇرۇپپىسىنى ۋە ئۇنىڭ ئىجازەت بېرىش/ئىجازەت بەرمەسلىك قائىدىلىرىنى پارچە قىلىدۇ، شۇڭا نېمە توسالغۇغا ئۇچرىغانلىقىنى تەپسىلىي كۆرۈپ بولالايسىز.
ئېلان قىلىنغان سېتىۋېلىنغانلار
robots.txt دىكى ھەر بىر سېتىۋېلىش خاتىرىسىنى تىزىملاش، ھەر بىرىنى ئېلىش، ئۇنىڭ تۈرىنى ۋە URL سانىنى مەلۇم قىلىش.
سورىش-ئېغىزلىق بوشلۇق
سىزىقچە URL نى سىزىپ، يېنىك تىپتىكى كۆچمە بەتلەرنى ياساپ، كۆچمە مەزمۇننى تۆۋەنلىتىدۇ.
ساغلاملىقنى ئېلىش
robots.txt دىكى خاتالىق، قايتا يوللاش ياكى XML ئەمەس نەرسىلەرنى قايتۇرۇپ بېرىشنى ئېلان قىلغان سېتىۋېلىش سۇپىسى خاتىرىسىنى تۇتىدۇ — ئاۋازسىز سۈرەتكە ئېلىش.
كۆپ سورالغان سوئاللار
ئۇنى پۇۋاپىڭىزدا ئىجرا قىلىڭ
بۇ تەتقىقاتچى يەنىلا مۇلازىمەتچى تەرەپتە ئىشلەيدۇ. URL نى يوللىسىڭىز، بىزنىڭ ئارقا تەرەپ robots.txt ۋە ئېلان قىلىنغان سېتىۋېلىنغان سېتىۋې پىلانى كۆرۈش →