کرول & انڈیکسنگ

robots.txt اور سائٹ میپ ٹیسٹر

کوئی بھی سائٹ URL داخل کریں. ہم اپنے سرور سے اس robots.txt اور sitemap.xml کو فٹ کر لیتے ہیں، آپ کو کرول ڈائرکٹر اور اعلان کردہ سائٹ میپ دکھاتے ہیں، اور فریگ کیویئر-سٹرنگ سائٹ میپ URLs جو دوہرا مواد demotions کا سبب بنتا ہے.

robots.txt اور sitemap.xml کو کیسے جانچیں

چار قدم، کوئی رجسٹریشن نہیں. پورے چک کی سرور جانب چلتا ہے.

1

سائٹ URL کو پسٹ کریں

کسی بھی سائٹ کے گھری صفحے کا URL داخل کریں. آپ کو robots.txt کے لئے مکمل راستہ کی ضرورت نہیں ہے، کیونکہ ہم اسے ہوسٹ سے حاصل کرتے ہیں.

2

ہم اپنے سرور سے حاصل

ہمارے سرور robots.txt اور ہر اعلان کردہ سائٹ میپ.xml کی درخواستیں کرتے ہیں، تو ٹیسٹ آپ کے براؤزر یا آپ کے اپنے کیش کے ذریعے روکا نہیں جاتا.

3

ڈائرکٹر اور سائٹ میپ پڑھیں

تجزیہ شدہ صارف-ایجنٹ گروپوں کو دیکھیں، قوانین کو غیرمجاز کریں اور اعلان کردہ سائٹ میپ کی فہرست، ہر ایک سے ایک URL نمونے کے ساتھ.

4

فائل کو فائل میں منتقل کریں

کسی بھی سوال-سٹرنگ سائٹ میپ URLs یا روکے- لیکن-indexed تنازعات حل ایک جست و جست انجن کے دوگنا کو ڈموٹس سے پہلے.

اس ٹیسٹر کے ليے چيک کريں

ہم ایک صفحہ شائع کرنے سے پہلے اندرونی چلتے ہیں اسی گارڈریل.

📜

کرول ڈائریکٹو

ہر صارف-ایجنٹ گروپ اور اس کے اجازت / غیر اجازت قوانین کو تجزیہ کرتا ہے تاکہ آپ دیکھ سکیں کہ کیا روکا گیا ہے.

🗺️

سائٹ میپ

robots.txt میں حوالہ دیئے گئے ہر سائٹ میپ کی فهرست، ہر ایک کو فٹچ اور اس کے قسم اور URL شمارے کی رپورٹ.

⚠️

سوالات کا سٹرنٹ

فریگوں کو ایڈیشن سائٹ میپ URLs جو قریب-نکل صفحات کی سیڈ اور نکل-مواد demotions کو چلاتے ہیں.

🔗

صحت حاصل کریں

robots.txt میں اعلان کردہ سائٹ میپ پکڑتا ہے کہ غلطی، ری ڈائرکٹر، یا غیر XML واپس. یہ خاموش کرول کیلر ہیں.

بار بار پوچھے گئے سوالات

ایک سائٹ میپ میں ایک واحد سوال-سٹرنگ URL قریب-نکل صفحات کے ہزاروں کی سیڈ کر سکتا ہے. جست و جست انجن انہیں کرول، مختلف پیرامیٹرز کے تحت ایک ہی مواد تلاش، اور نکل مواد کے لئے پورے کلسٹر کو نیچے ڈالتے ہیں. یہ ٹیسٹر ان کو اس سے پہلے کہ یہ ہوتا ہے ان کو فلگ کرتا ہے.
نہیں. ایک غائب یا خالی robots.txt صرف تمام کرولنگ کی اجازت دیتا ہے. خطرہ اس کے برعکس ہے: ایک بہت وسیع disallow جو صفحات کو روکتا ہے جو آپ انڈیکس کرنا چاہتے ہیں، یا robots.txt میں اعلان کیا گیا ایک سائٹ میپ جو غلطی واپس کرتا ہے.
نہیں. ہم robots.txt اور سائٹ میپ کو فٹچ کرتے ہیں اور پھر ہر ایک سے URLs کا نمونہ پڑھتے ہیں. ہم ہر صفحہ کو ریکریشنل کرول نہیں کرتے، تو ٹیسٹ تیز ہے اور آپ کا سرور لوڈ نہیں کرے گا.
ہاں، ٹیسٹر کوئی ساین اپ کے ساتھ مفت ہے. ایک REST API کے ذریعے پروگرامیٹک رسائی پر ادا کی گئی منیجڈ منصوبوں پر دستیاب ہے.
ڈیولپروں کے لیے

اپنے پائپ لائن میں اسے چلاو

یہ ٹیسٹر پورے سرور جانب چلتا ہے. آپ ایک URL پیش کرتے ہیں, ہمارا باقائدہ robots.txt اور اعلان کردہ سائٹ میپز کو فٹ اور تجزیہ کرتے ہیں, پھر نتائج کے ساتھ اس صفحے کو دوبارہ رنڈ کرتے ہیں. CI / CD اور بلک اوڈیٹنگ کے لئے ایک پروگرامتی REST API ادا کردہ انتظامی منصوبوں پر دستیاب ہے. منصوبے دیکھو →

ڈیولپر API

اسے پروگرام کے طور پر استعمال کریں

ہر ٹول پرو اور API پلانز پر ایک تصدیق شدہ REST API کے ذریعے دستیاب ہے. اسے اپنے CI، CMS، یا ڈش بورڈ میں وائیرڈ کریں.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
ٹھیک ہے
{ "ok": true, "result": { ... } }
ایک API کلید حاصل کریں → میٹر، پر کال قیمت. اوپر تعاملی ٹول کے لئے مفت سطح.
آپ کے سائٹ کے ہر صفحے کو چکا کریں، ایک وقت میں ایک نہیں
Pro گوگل سکررچ کنسول سے رابطہ کرتا ہے، ہر صفحہ جو گوگل نے چھوڑ دیا ہے، ہر ٹوٹنے والے صفحے اور ہر صفحے کو لے لیتا ہے جو کم درجے پر ہے، اور لکھتا ہے کہ ہر ایک پر کیا ٹھیک کرنا ہے۔
Pro کام کيا کريں دیکھيں