🤖 التحليل والفهرسة

مختبر robots.txt وخريطة الموقع

نحن نحصل على robots.txt و sitemap.xml من خادمنا، ونعرض عليك توجيهات البحث وخرائط المواقع المعلنة، ونشير إلى عناوين خرائط المواقع التي تسبب تخفيضات المحتوى المزدوج.

كيف يمكن اختبار robots.txt و sitemap.xml

أربع خطوات، لا تسجيل، التحقق كله يجري على جانب الخادم.

لصق عنوان الموقع

لا تحتاج إلى المسار الكامل إلى robots.txt — نحن نستخرجه من المضيف.

نحن نحصل من خادمنا

خادمنا يطلب robots.txt و كل إعلان sitemap.xml، لذلك الاختبار لا يمنع من قبل متصفحك أو مخزنك الخاص.

قراءة التوجيهات وخرائط المواقع

استعراض مجموعات وكلاء المستخدمين المحللة، وقواعد عدم السماح وقائمة خرائط المواقع المعلنة، مع عينة من عنوان URL من كل منها.

إصلاح ما هو معلّم

حل أي عناوين URL لخارطة الموقع أو التنازع المحظور ولكن مفهرسة قبل محرك البحث يخفض الازدواجية.

ماذا يقوم هذا الاختبار بالتحقق منه

نفس الحواجز التي نقوم بها داخليا قبل نشر صفحة واحدة

📜

توجيهات البحث

يقوم بتحليل كل مجموعة من وكلاء المستخدم وقواعد السماح / عدم السماح الخاصة بها حتى يمكنك رؤية ما هو محجوز بالضبط.

🗺️

خرائط المواقع المعلنة

يعرض كل خريطة موقع مرجعة في robots.txt، ويحصل على كل واحد، ويبلغ عن نوعه وعدد العنوان.

⚠️

توسع سلسلة الاستفسار

تشير إلى عناوين URL لخارطة الموقع التي تنشر صفحات مكررة تقريبًا وتسبب تخفيضات المحتوى المكررة.

🔗

خذ الصحة

يلتقط خرائط المواقع المعلنة في robots.txt التي تسبب الخطأ، أو إعادة التوجيه، أو العودة إلى غير XML - قاتلي الجرس الصامت.

الأسئلة المتكررة

يمكن لعنوان URL واحد في خريطة الموقع أن ينشر الآلاف من الصفحات المزدوجة تقريبًا. محركات البحث تبحث عنها، وتجد نفس المحتوى تحت بارامترات مختلفة، وتخفض المجموعة بأكملها للمحتوى المزدوج. هذا الاختبار يعلمهم قبل أن يحدث ذلك.

لا. إن ملف robots.txt المفقود أو الفارغ يسمح ببساطة بجميع عمليات البحث. والمخاطرة هي العكس: عدم السماح الواسع النطاق الذي يحول دون فهرس الصفحات التي تريد فهرسة، أو خريطة الموقع المعلنة في ملف robots.txt التي تعيد خطأ.

لا، نحن نحصل على robots.txt وخرائط المواقع التي تعلنها، ثم نقرأ عينة من العنوان من كل منها. نحن لا نقوم بإعادة اكتشاف كل صفحة، لذا فإن الاختبار سريع ولن يحمل خادمك.

نعم، الاختبار مجاني دون التسجيل. الوصول البرمجي من خلال REST API متاح على الخطط المدفوعة المدارة.

⚙️ للمطورين

أخرجها من أنبوبك

هذا الاختبار يجري بالكامل على جانب الخادم - أنت تقدم عنوان URL، وخلفية لنا يستخرج وتحليل robots.txt وخرائط الموقع المعلنة، ثم يعيد عرض هذه الصفحة مع النتائج. API REST البرمجية ل CI / CD ومراجعة الكميات المتاحة على الخطط المدفوعة المدارة. انظر الخطط →