ক্রল ইনডেক্সিং

robots. txt & সাইটম্যাপ পরীক্ষাকারী

যে কোন সাইটের ইউআরএল লিখুন। আমরা আমাদের সার্ভার থেকে এর robots.txt এবং sitemap.xml পেয়েছি, আপনাকে ক্রল নির্দেশিকা এবং ঘোষণা করা সাইটম্যাপ দেখাচ্ছি, এবং যে কোন কয়েকটি প্রশ্ন-স্ট্রিং সাইটম্যাপ ইউআরএল-এর ফ্ল্যাগ করেছি যা নকল-কন্টেন্টের কারণে নিম্নলিখিত অবস্থায় পড়েছে।

কিভাবে একটি robots.txt এবং sitemap.xml পরীক্ষা

চারটি ধাপ, কোন সাইন আপ নেই, সার্বিক পরীক্ষা সার্ভার-সাইড থেকেই হয়।

1

সাইটের ইউ- আর- এল সাঁটাও

যে কোন সাইটের হোমপেজ ইউ- আর- এল লিখুন । robots. txt ফাইলের পূর্ণ পাথ উল্লেখ করার প্রয়োজন নেই, কারণ আমরা এটি হোস্ট থেকে বের করে আনি ।

2

আমরা আমাদের সার্ভার থেকে পেতে

আমাদের সার্ভার robots.txt এবং প্রত্যেক ঘোষণাকৃত সাইটম্যাপ.xml অনুরোধ করে, তাই পরীক্ষাটি আপনার ব্রাউজার বা আপনার নিজের ক্যাশে দ্বারা অবরুদ্ধ হয় না।

3

নির্দেশিকা এবং সাইটম্যাপ পড়ুন

পার্স করা ব্যবহারকারী-এজেন্ট গ্রুপ, নিষেধ নিয়ম এবং ঘোষণা করা সাইটম্যাপের তালিকা পর্যালোচনা করুন, প্রত্যেকটি থেকে একটি ইউআরএল নমুনা সহ।

4

ফ্ল্যাগ করা বিষয়বস্তু ঠিক করুন

কোন অনুসন্ধান ইঞ্জিন নকল নিম্নগামী করার আগে যে কোন প্রশ্ন-স্ট্রিং সাইটম্যাপ ইউআরএল বা অবরোধ করা-কিন্তু-সূচীভুক্ত দ্বন্দ্ব সমাধান করুন।

এই টেস্টার কী পরীক্ষা করে

একই ধরনের নিরাপত্তার ব্যবস্থা আমরা অভ্যন্তরীণভাবেও করছি এক পৃষ্ঠা প্রকাশের আগে।

📜

ক্রল নির্দেশিকা

প্রতিটি ব্যবহারকারী- এজেন্ট গ্রুপ এবং এর অনুমোদন / নিষেধ নিয়ম পার্স করে যাতে আপনি ঠিক কি প্রতিরোধ করা হয়েছে তা দেখতে পারেন।

🗺️

ঘোষণাকৃত সাইটম্যাপ

robots.txt-এ প্রত্যেক সাইটম্যাপের তালিকা প্রদর্শন করে, প্রত্যেকটি পেয়ে এবং এর ধরন এবং ইউআরএল সংখ্যা রিপোর্ট করে।

⚠️

অনুসন্ধান-পংক্তির চাপ

যেসব সাইটম্যাপ URL-এর জন্য অনুসন্ধান-পংক্তির ফ্ল্যাগ ব্যবহার করা হবে, সেগুলো প্রায় একই ধরনের পাতা এবং একই ধরনের বিষয়বস্তুকে নিম্নতর পর্যায়ে নিয়ে যাবে।

🔗

স্বাস্থ্য ফিরিয়ে আনো

robots.txt-এ ঘোষণা করা সাইটম্যাপগুলিকে ধরা হয় যেগুলিতে ত্রুটি, পুনরায় নির্দেশক, অথবা XML-বিহীন ফলাফল প্রদান করা হয়। এগুলি নিঃশব্দ ক্রল কিলার।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

সাইটম্যাপ-এ একটি একক প্রশ্ন-স্ট্রিং ইউআরএল হাজার হাজার নকল পাতা তৈরি করতে পারে। সার্চ ইঞ্জিন তাদের ক্রল করে, একই বিষয়বস্তু বিভিন্ন প্যারামিটার অনুসারে খুঁজে পায় এবং নকল বিষয়বস্তু অনুসন্ধানে পুরো ক্লাস্টারকে নিচে নামিয়ে দেয়। এই টেস্টার তা ঘটার আগেই তাদের ফ্ল্যাগ করে।
না। robots.txt ফাইলটি যদি বাদ পড়ে থাকে বা ফাঁকা থাকে, তাহলে সেটি কেবলমাত্র সার্চ ইঞ্জিনকে সার্চের কাজ করতে অনুমতি দেবে। ঝুঁকির কারণ হচ্ছে বিপরীত: robots.txt ফাইলে একটি অতিরিক্ত বড় disable বাক্যাংশ থাকলে সার্চ ইঞ্জিনটি আপনার ইচ্ছামত যেসব পাতা ইন্ডেক্স করতে চায়, সেগুলোকে ব্লক করে দেবে, অথবা robots.txt ফাইলে একটি সাইটম্যাপ থাকলে সেটি একটি ত্রুটি দেখা দেবে।
না। আমরা robots.txt এবং সাইটম্যাপ যা ঘোষণা করে তা পেতে, তারপর প্রতিটি থেকে ইউআরএলের একটি নমুনা পড়ুন। আমরা প্রতিটি পাতা পুনরাবৃত্তিগতভাবে ক্রল না, তাই পরীক্ষা দ্রুত এবং আপনার সার্ভার লোড করবে না।
হ্যাঁ, টেস্টারটি কোন সাইন-আপ ছাড়াই বিনামূল্যে। REST API-র মাধ্যমে প্রোগ্রামিং অ্যাক্সেস পেমেন্ট ম্যানেজড প্ল্যানে উপলব্ধ।
ডেভেলপারদের জন্য

আপনার পাইপলাইনে এটি চালানো

এই টেস্টার সম্পূর্ণ সার্ভার-পার্শ্ব চালিত। আপনি একটি ইউআরএল জমা, আমাদের ব্যাকএন্ড পেতে এবং robots.txt এবং ঘোষণা সাইটম্যাপ পার্স, তারপর ফলাফল সঙ্গে এই পৃষ্ঠা পুনরায় রেন্ডার। একটি প্রোগ্রামাতিক REST API CI/CD এবং ব্যাচ অডিট জন্য পরিশোধ পরিচালিত পরিকল্পনাতে উপলব্ধ। পরিকল্পনা দেখুন →

ডেভেলপার API

প্রোগ্রামিং করে ব্যবহার করুন

প্রতিটি টুল প্রফেশনাল এবং অ্যাপিআই প্ল্যানে একটি অনুমোদিত REST API এর মাধ্যমে উপলব্ধ। এটি আপনার CI, CMS, বা ড্যাশবোর্ডে সংযুক্ত করুন।

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
ঠিক আছে
{ "ok": true, "result": { ... } }
API কী প্রাপ্ত করুন → মেটারেড, কল প্রতি মূল্য। উপরের মিথস্ক্রিয় টুল জন্য বিনামূল্যে স্তর।
আপনার সাইটের প্রতিটি পাতা পরীক্ষা করুন, একবার নয়
Pro connects Google Search Console, fetches every page Google skipped, every broken page and every page that ranks low, and writes what to fix on each one.
দেখুন Pro কিভাবে কাজ করে