🤖 क्रोल अनुक्रमणिका

robots.txt र साइटम्याप परीक्षणकर्ता

कुनै पनि साइट यूआरएल प्रविष्ट गर्नुहोस्। हामी हाम्रो सर्भर देखि यसको robots.txt र sitemap.xml फेच, तपाईं क्रॉल निर्देशन र घोषणा sitemaps देखाउन, र डबल-सामग्री demotions कारण क्वेरी-स्ट्रिङ sitemap यूआरएलहरू झण्डा.

कसरी एक robots.txt र sitemap.xml परीक्षण

चार चरण, साइन अप छैन। सम्पूर्ण जाँच सर्भर- साइड चल्छ।

1

साइट यूआरएल टाँस्नुहोस्

कुनै पनि साइट को गृहपृष्ठ यूआरएल प्रविष्ट गर्नुहोस्। तपाईं robots.txt गर्न पूर्ण मार्ग आवश्यक छैन - हामी होस्ट देखि यो प्राप्त.

2

हामीले हाम्रो सर्भरबाट फेक गर्यौ

हाम्रो सर्भर robots.txt र हरेक घोषणा sitemap.xml अनुरोध, त्यसैले परीक्षण आफ्नो ब्राउजर वा आफ्नो क्यास द्वारा अवरुद्ध छैन.

3

निर्देशन र साइटम्याप पढ्नुहोस्

विश्लेषण गरिएको प्रयोगकर्ता-एजेन्ट समूह समीक्षा, नियम र घोषणा sitemaps को सूची, प्रत्येक देखि एक यूआरएल नमूना संग निषेध.

4

झण्डा लगाइएको कुरा ठीक गर्नुहोस्

कुनै पनि क्वेरी-स्ट्रिङ साइटम्याप यूआरएलहरू वा रोकिएको-तर-सूचीबद्ध संघर्षहरू एक खोज इन्जिनले नक्कलहरू घटाउनु अघि समाधान गर्नुहोस्।

यो परीक्षणकर्ताले के जाँच गर्दछ

हामी एक एकल पृष्ठ प्रकाशित अघि आन्तरिक रूपमा चलाउने नै guardrails.

📜

क्रोल निर्देशिका

प्रत्येक प्रयोगकर्ता- एजेन्ट समूह र यसको अनुमति / अस्वीकार नियम पद वर्णन गर्दछ ताकि तपाईँले रोकिएको के हो ठीक देख्न सक्नुहुन्छ ।

🗺️

घोषणा गरिएको साइटम्याप

robots.txt मा सन्दर्भित हरेक साइटम्याप सूचीबद्ध, प्रत्येक फेट्स, र यसको प्रकार र यूआरएल गणना रिपोर्ट.

⚠️

क्वेरी स्ट्रिङ ब्लोट

झण्डा क्वेरी-स्ट्रिङ साइटम्याप यूआरएलहरू जो नजिकै-नक्कली पृष्ठहरू बीउ र नक्कली-सामग्री demotions ट्रिगर।

🔗

स्वास्थ्य प्राप्त गर्नुहोस्

त्रुटि, पुन: निर्देशन, वा गैर-XML फिर्ता robots.txt मा घोषणा sitemaps पकड - मौन क्रोल हत्यारा.

प्राय सोधिने प्रश्नहरू

एक साइटम्याप मा एकल क्वेरी-स्ट्रिङ यूआरएल नजिकै-नक्कली पृष्ठ हजारौं बीउ गर्न सक्छ। खोज इन्जिन तिनीहरूलाई क्रॉल, फरक मापदण्ड अन्तर्गत एउटै सामग्री फेला, र नक्कली सामग्री को लागि सम्पूर्ण क्लस्टर अवमूल्यन। यो परीक्षणकर्ता त्यो हुनु अघि तिनीहरूलाई झण्डाहरू।
कुनै. एक गुमनाम वा खाली robots.txt बस सबै क्रोल अनुमति दिन्छ. जोखिम विपरीत छ: एक अधिक-विस्तृत blocks कि पृष्ठ तपाईं सूचकांक चाहनुहुन्छ, वा एक त्रुटि फिर्ता कि robots.txt मा घोषणा एक साइटम्याप disallow.
छैन. हामी robots.txt र साइटम्याप यो घोषणा फेच, त्यसपछि प्रत्येक देखि यूआरएल को एक नमूना पढ्न. हामी recursively हरेक पृष्ठ क्रॉल छैन, त्यसैले परीक्षण छिटो छ र आफ्नो सर्भर लोड छैन.
हो, परीक्षणकर्ता कुनै साइन अप संग नि: शुल्क छ। एक REST API मार्फत प्रोग्रामिंग पहुँच भुक्तानी प्रबन्धित योजनाहरूमा उपलब्ध छ।
⚙️ विकासकर्ताका लागि

तपाईँको पाइपलाइनमा यसलाई चलाउनुहोस्

यो परीक्षण पूर्णतया सर्भर-साइड चल्छ - तपाईं एक यूआरएल पेश, हाम्रो ब्याकएन्ड फेट्स र robots.txt र घोषणा गरिएको साइटम्यापहरू पारित गर्दछ, त्यसपछि परिणामहरूसँग यो पृष्ठ पुन: रेन्डर गर्दछ। CI / CD र थोक लेखापरीक्षणको लागि एक कार्यक्रमात्मक REST API भुक्तानी प्रबन्धित योजनाहरूमा उपलब्ध छ। योजना हेर्नुहोस् →