🤖 & شاخص‌بندی جستجو‌

آزمون‌کننده robots. txt و نقشه سایت

ما robots.txt و sitemap.xml را از سرور خود دریافت می‌کنیم، دستورالعمل‌های جستجو و نقشه‌های سایت اعلام شده را به شما نشان می‌دهیم و URLهای نقشه سایت رشته پرسش را که باعث کاهش محتوای تکراری می‌شوند، نشان می‌دهیم.

چگونه یک robots.txt و sitemap.xml را آزمایش کنیم

چهار مرحله، بدون ثبت نام تمام چک ها در سرور انجام ميشه

1

چسباندن نشانی وب سایت

وارد کردن نشانی وب صفحه اصلی هر سایتی. نیازی به مسیر کامل robots. txt نیست — ما آن را از میزبان بدست می‌آوریم.

2

از سرورمون ميگيريم

سرور ما robots.txt و هر sitemap.xml اعلام شده را درخواست می‌کند، بنابراین تست توسط مرورگر شما یا حافظه نهان خودتان مسدود نمی‌شود.

3

خواندن دستورالعملها و نقشه‌های سایت

بررسی گروه‌های عامل کاربر تجزیه شده، قوانین ممنوع و فهرست سایت‌نماهای اعلام شده، با یک نمونه URL از هر کدام.

4

اصلاح آنچه پرچم‌دار است

حل هر URL-های رشته پرسش نقشه سایت یا تعارضات مسدود شده-اما-آیند قبل از یک موتور جستجو تکرارها را کاهش می‌دهد.

آنچه که این آزمونگر بررسی می‌کند

همان محافظت که ما قبل از انتشار هر صفحه در داخل اجرا میکنیم

📜

دستورالعمل‌های جستجو

هر گروه عامل کاربر و قوانین اجازه/نصیب آن را تجزیه می‌کند تا دقیقاً ببینید چه چیزی مسدود شده‌است.

🗺️

نقشه‌های سایت اعلام‌شده

هر نقشه سایتی که در robots.txt ذکر شده را فهرست می‌کند، هر کدام را دریافت می‌کند و نوع و تعداد URL را گزارش می‌دهد.

⚠️

پر کردن رشته پرسش

URLهای نقشه سایت رشته پرسش را که صفحات نزدیک به تکراری را بذر می‌کنند و دگرگونی محتوای تکراری را تحریک می‌کنند، نشان می‌دهد.

🔗

سلامتي رو بگير

سئو سایت‌ها را در robots.txt اعلام می‌کند که خطا، بازگردانی یا بازگشت غیر XML - قاتل‌های کرول خاموش.

پرسش‌های متداول

یک نشانی وب رشته پرسش واحد در یک نقشه سایت می‌تواند هزاران صفحه نزدیک به رونوشت را بکار گیرد. موتورهای جستجو آنها را جستجو می‌کنند، محتوای مشابه را در پارامترهای مختلف پیدا می‌کنند و کل خوشه را برای محتوای رونوشت پایین می‌آورند. این آزمونگر قبل از این اتفاق، آنها را نشان می‌دهد.
نه. یک robots.txt خالی یا گمشده به سادگی اجازهٔ جستجو را می‌دهد. خطر آن برعکس است: یک اجازهٔ بیش از حد گسترده که صفحاتی را که می‌خواهید فهرست‌بندی شوند را مسدود می‌کند، یا یک نقشهٔ سایت اعلام شده در robots.txt که یک خطا را برمی‌گرداند.
نه. ما robots.txt و نقشه سایتی که اعلام می‌کند را دریافت می‌کنیم، سپس نمونه URLها را از هر کدام می‌خوانیم. ما به صورت بازگشتی هر صفحه را جستجو نمی‌کنیم، بنابراین تست سریع است و سرور شما را بار نمی‌کند.
بله، تست‌کننده بدون ثبت نام رایگان است. دسترسی برنامه‌ریزی شده از طریق یک API REST در برنامه‌های مدیریت شده پرداختی در دسترس است.
⚙️ برای توسعه‌دهندگان

. توي خط لوله بريزه

این تستگر کاملاً در سمت سرور اجرا می‌شود - شما یک URL را ارسال می‌کنید، پشته ما robots.txt و نقشه‌های سایت اعلام شده را دریافت و تجزیه می‌کند، سپس این صفحه را با نتایج دوباره نمایش می‌دهد. نقشه ها رو ببين →