& אינדקס זחילה

Name

הזן כל כתובת אתר. אנו מביאים את כתובת ה־. trxt והאתר של השרת שלנו, מראים לך את ההוראות הזחילה והכרזה על אתרים, וסמן את כתובות האתר של מחרוזת השאילות, אשר גורמות להורדה של דו-משמעית.

איך לבחון רובוטי txt ו sitemap.xml

ארבעה צעדים, אין הרשמה, כל הצ'ק פועל לצד השרת.

1

הדבק את כתובת האתר

הזן את כתובת דף הבית של כל אתר. אתה לא צריך את הנתיב המלא לרובוטים.

2

אנחנו מביאים מהשרת שלנו

השרת שלנו מבקש רובוטים. txt וכל sitemap.xml האתרים המוצהר, כך שהמבחן אינו חסום על ידי הדפדפן שלך או המטמון שלך.

3

קרא את ההוראות ואתרי ההדפסה

בדוק את הקבוצות של סוכני המשתמשים, את חוקי הפסולת ואת רשימת המפות המוצהרות, עם דגימת כתובת מכל אחת.

4

תקן את מה שמסומן

פענח כל כתובת אתר-המפה של שאילתר או סכסוכים חסומים אך מבוצעים לפני שמנוע חיפוש ימחק את ההעתקים.

מה בודק הבוחן הזה?

אותם מסילות בטיחות שאנחנו רצים מבפנים לפני פרסום דף אחד.

📜

הנחיות זחילה

מפענח כל קבוצה של משתמש ומערכת שלו אפשר / אסור כללים כך שאתה יכול לראות בדיוק מה הוא חסום.

🗺️

מפות אתרים מוצהרות

רשימת כל ה-EarmeMap התייחסה לרובוטים.txt, מביאה כל אחד, ודיווחת על ספירת סוג וכתובת.

⚠️

Name

KMapp URLs special-tring squery resources that flugs near-dlicate pages and legle schocut-contentant demodes.

🔗

הביאו בריאות

מפת אתרים מוצפנת ברובוטים. txt שטעות, להפנות, או לחזור לא-XML. אלה רוצחים זוחלים שקטים.

שאלות לעתים קרובות

כתובת אחת של מחרוזת שאילתה באתר יכולה לזרוע אלפי דפים כמעט משוכפלים. מנועי חיפוש זוחלים עליהם, מוצאים את אותו תוכן תחת פרמטרים שונים, וחותכים את כל האשכול עבור תוכן כפול. הבוחן הזה מסמן אותם לפני שזה קורה.
מס 'רובוטים חסרים או ריקים txt פשוט מאפשר כל הזחילה. הסיכון הוא ההפך: איסור שטח יתר כי בלוקים דפים שאתה רוצה אינדקס, או מפת אתר הכריז ברובוטים.txt זה חוזר טעות.
לא, אנחנו מביאים רובוטים.טקסט ואת התרשימים שהוא מכריז עליהם, ואז קוראים דוגמית של כתובות מכל אחד. אנחנו לא זוחלים שוב ושוב כל עמוד, כך שהבדיקה מהירה ולא מעמיסים את השרת שלך.
כן, הבוחן חופשי ללא הרשמה, הגישה לתכנות באמצעות שאר API זמינה בתכניות המנוהלות.
מפתחים

תריץ את זה בצנרת שלך.

הבוחן הזה פועל לגמרי לצד השרת. אתה מגיש כתובת, השולח שלנו מביא וparses רובוטים.txt ואתר המapים המוצהר, לאחר מכן מחדש re-הדף הזה עם התוצאות. API-תכנותי ל-CI/CD וביקורת חשבונות זמינה בתכניות המנוהלות בתשלום. ראה תוכניות →

מפתח API

השתמש בו בתכנות

כל כלי זמין באמצעות API אימות אחד על תוכניות Pro ו API. תעביר את זה לCI, CMS, או ללוחות המחוונים שלך.

curl -X POST https://seo.bike/api/v1/robots-check \ -H "Authorization: Bearer sk_live_yourkey" \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com/"}'
200 אישור
{ "ok": true, "result": { ... } }
קבל מפתח API → מחירים לכל שיחה, שורה חופשית לכלי האינטראקטיבי שמעל.
בדוק כל דף באתר שלך, לא אחד בכל פעם
Pro מחבר את Console החיפוש בגוגל, מביא כל דף שגוגל דילג, כל דף שבור וכל עמוד שדרג נמוך, וכותב מה לתקן בכל אחד.
תראה איך Pro עובד