🤖 کرول & انڈیکسنگ

robots.txt اور سائٹ میپ ٹیسٹر

کوئی بھی سائٹ URL داخل کریں. ہم اپنے سرور سے اس robots.txt اور sitemap.xml کو فٹ کر لیتے ہیں، آپ کو کرول ڈائرکٹر اور اعلان کردہ سائٹ میپ دکھاتے ہیں، اور فریگ کیویئر-سٹرنگ سائٹ میپ URLs جو دوہرا مواد demotions کا سبب بنتا ہے.

robots.txt اور sitemap.xml کو کیسے جانچیں

چار قدم، کوئی رجسٹریشن نہیں. پورے چک کی سرور جانب چلتا ہے.

1

سائٹ URL کو پسٹ کریں

کسی بھی سائٹ کا گھری صفحہ URL داخل کریں. آپ کو robots.txt کے لئے مکمل راستہ کی ضرورت نہیں ہے - ہم اسے ہوسٹ سے حاصل کرتے ہیں.

2

ہم اپنے سرور سے حاصل

ہمارے سرور robots.txt اور ہر اعلان کردہ سائٹ میپ.xml کی درخواستیں کرتے ہیں، تو ٹیسٹ آپ کے براؤزر یا آپ کے اپنے کیش کے ذریعے روکا نہیں جاتا.

3

ڈائرکٹر اور سائٹ میپ پڑھیں

تجزیہ شدہ صارف-ایجنٹ گروپوں کو دیکھیں، قوانین کو غیرمجاز کریں اور اعلان کردہ سائٹ میپ کی فہرست، ہر ایک سے ایک URL نمونے کے ساتھ.

4

فائل کو فائل میں منتقل کریں

کسی بھی سوال-سٹرنگ سائٹ میپ URLs یا روکے- لیکن-indexed تنازعات حل ایک جست و جست انجن کے دوگنا کو ڈموٹس سے پہلے.

اس ٹیسٹر کے ليے چيک کريں

ہم ایک صفحہ شائع کرنے سے پہلے اندرونی چلتے ہیں اسی گارڈریل.

📜

کرول ڈائریکٹو

ہر صارف-ایجنٹ گروپ اور اس کے اجازت / غیر اجازت قوانین کو تجزیہ کرتا ہے تاکہ آپ دیکھ سکیں کہ کیا روکا گیا ہے.

🗺️

سائٹ میپ

robots.txt میں حوالہ دیئے گئے ہر سائٹ میپ کی فهرست، ہر ایک کو فٹچ اور اس کے قسم اور URL شمارے کی رپورٹ.

⚠️

سوالات کا سٹرنٹ

فریگوں کو ایڈیشن سائٹ میپ URLs جو قریب-نکل صفحات کی سیڈ اور نکل-مواد demotions کو چلاتے ہیں.

🔗

صحت حاصل کریں

robots.txt میں اعلان کردہ سائٹ میپ پکڑتا ہے کہ غلطی، ری ڈائریکٹ، یا غیر XML واپس — خاموش کرول کیلر.

بار بار پوچھے گئے سوالات

ایک سائٹ میپ میں ایک واحد سوال-سٹرنگ URL قریب-نکل صفحات کے ہزاروں کی سیڈ کر سکتا ہے. جست و جست انجن انہیں کرول، مختلف پیرامیٹرز کے تحت ایک ہی مواد تلاش، اور نکل مواد کے لئے پورے کلسٹر کو نیچے ڈالتے ہیں. یہ ٹیسٹر ان کو اس سے پہلے کہ یہ ہوتا ہے ان کو فلگ کرتا ہے.
نہیں. ایک غائب یا خالی robots.txt صرف تمام کرولنگ کی اجازت دیتا ہے. خطرہ اس کے برعکس ہے: ایک بہت وسیع disallow جو صفحات کو روکتا ہے جو آپ انڈیکس کرنا چاہتے ہیں، یا robots.txt میں اعلان کیا گیا ایک سائٹ میپ جو غلطی واپس کرتا ہے.
نہیں. ہم robots.txt اور سائٹ میپ کو فٹچ کرتے ہیں اور پھر ہر ایک سے URLs کا نمونہ پڑھتے ہیں. ہم ہر صفحہ کو ریکریشنل کرول نہیں کرتے، تو ٹیسٹ تیز ہے اور آپ کا سرور لوڈ نہیں کرے گا.
ہاں، ٹیسٹر کوئی ساین اپ کے ساتھ مفت ہے. ایک REST API کے ذریعے پروگرامیٹک رسائی پر ادا کی گئی منیجڈ منصوبوں پر دستیاب ہے.
⚙️ ڈیولپروں کے لیے

اپنے پائپ لائن میں اسے چلاو

یہ ٹیسٹر مکمل طور پر سرور جانب چلتا ہے - آپ ایک URL پیش کرتے ہیں، ہماری باقائدہ فہرست اور robots.txt اور اعلان کردہ سائٹ میپوں کو تجزیہ کرتے ہیں، پھر نتائج کے ساتھ اس صفحے کو دوبارہ رنڈرز. CI / CD اور bulk auditing کے لئے ایک پروگرامتی REST API ادا کردہ انتظامی منصوبوں پر دستیاب ہے. منصوبے دیکھو →