& ინდექსირება

robots. txt და გვერდის რუკა

მიუთითეთ ნებისმიერი საიტის URL. ჩვენ მივიღებთ მისი robots. txt და sitemap. xml სერვერიდან, ჩვენ მოგაჩვენებთ ძიების დირექტივებს და განაცხადებულ საიტის რუკებს, და დავაფიქსირებთ კითხვის სტრიქონის საიტის რუკის URL- ს, რომელიც დუპლიკაციის შინაარსის დაქვეითებას იწვევს.

როგორ უნდა შეამოწმოთ robots.txt და sitemap.xml

Four steps, no signup. The whole check runs server-side.

1

ვებ გვერდის URL- ის ჩასმა

ნებისმიერი საიტის სათაო გვერდის URL- ის შეყვანა. robots. txt ფაილის სრული გეზი არ გჭირდებათ, რადგან ის ჰოსტიდან იღება.

2

We fetch from our server

Our server requests robots.txt and every declared sitemap.xml, so the test isn't blocked by your browser or your own cache.

3

დირექტივებისა და საიტის რუკების წაკითხვა

მომხმარებლის აგენტთა დამუშავებული ჯგუფების გადახედვა, წესების უარყოფა და საიტის რუკის განცხადების სია, URL- ის მაგალითებით.

4

გასწორება

URL- ების ან ბლოკირებულ- მაგრამ- ინდექსირებულ კონფლიქტების გადაწყვეტა სანამ საძიებო სისტემა დუპლიკატებს დააწესებს.

რასაც ეს ტესტერი არეგულირებს

The same guardrails we run internally before publishing a single page.

📜

ძიების დირექტივები

ყველა მომხმარებლის აგენტთა ჯგუფის და მის ნებართვა/ აკრძალვის წესების ანალიზი, რათა ნახოთ რა არის ბლოკირებული. Name

🗺️

ვებ გვერდის რუკები

Robots.txt-ის მოდული ქმნის robots.txt ფაილს, რომელიც აგრეთვე ცნობილია როგორც robots.txt ფაილი.

⚠️

კითხვის სტრიქონის გაზრდა

კითხვის სტრიქონის საიტის რუკის URL- ების ფიგურა, რომლებიც ახლოს არიან დუპლიკაციურ გვერდებთან და დუპლიკაციური შინაარსის დაქვეითებას იწვევენ. Name

🔗

ჯანმრთელობის მიღება

robots.txt- ში განცხადებული გვერდის რუკების მოპოვება, რომლებიც შეცდომას, გადამისამართებას ან არა- XML- ს უბრუნებენ. ეს არის ხმაურიანი ძიების მკვლელები.

ხშირად დასმული კითხვები

ერთი კითხვის სტრიქონის URL- ს შეუძლია ათასობით გვერდის დუპლიკაცია. საძიებო სისტემები ათვალიერებენ მათ, იპოვნიან იგივე შინაარსს სხვადასხვა პარამეტრების მიხედვით და დუბლიკაციის გამო კლასტერის მთლიანად დაქვეითებას ახდენენ. ეს ტესტერი აფრთხილებს მათ, სანამ ეს მოხდება.
არა. robots. txt ფაილის არარსებობა ან ცარიელია, უბრალოდ ყველა ძიების საშუალებას იძლევა. რისკი პირიქითაა: ზედმეტად ფართო disable, რომელიც ბლოკავს გვერდებს, რომელთა ინდექსირება გსურთ, ან robots. txt ფაილში განცხადებული საიტის რუკა, რომელიც შეცდომას იძლევა.
არა. ჩვენ robots.txt- ს და მასში განაცხადებულ საიტის რუკებს ვიღებთ, შემდეგ კი URL- ების მაგალითს ვკითხულობთ თითოეულიდან. ჩვენ არ ვცდილობთ ყველა გვერდის რეკურსიულად გაწმენდა, ასე რომ ტესტი სწრაფია და არ დატვირთავს თქვენს სერვერს.
მადლობა, ტესტერი უფასოა და რეგისტრაცია არ არის საჭირო. პროგრამული წვდომა REST API- ს საშუალებით ხელმისაწვდომია გადახდილი მართვის გეგმების შემთხვევაში.
პროგრამისტებისთვისName

Run it in your pipeline

ეს ტესტირება სრულად სერვერის მხარეს მუშაობს. თქვენ აგზავნით URL- ს, ჩვენი უკან დაბრუნება და გაანალიზება robots.txt და განაცხადა sitemaps, შემდეგ ამ გვერდის შედეგებით აღდგენა. პროგრამული REST API CI / CD და მასობრივი აუდიტისთვის ხელმისაწვდომია გადახდილი მართვის გეგმებზე. See plans →

პროგრამისტების API

გამოიყენეთ პროგრამულად

ყველა ინსტრუმენტი ხელმისაწვდომია ერთ-ერთი აუტინფიცირებული REST API- ს საშუალებით Pro და API გეგმებზე. ჩართეთ იგი თქვენს CI, CMS ან dashboards- ში.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 ნომერი
{ "ok": true, "result": { ... } }
API კოდის მიღება → Metered, per-call pricing. Free tier for the interactive tool above.
ყველა გვერდის შემოწმება, არა ერთი გვერდის ერთდროულად
Pro აკავშირებს Google Search Console-ს, იღებს ყველა იმ გვერდს, რომელიც Google-მა გამოტოვა, ყველა დაზიანებულ გვერდს და ყველა გვერდს, რომელიც დაბალ პოზიციაზეა, და წერს, თუ რა უნდა შესწორდეს თითოეულში.
ნახეთ, როგორ მუშაობს Pro