🤖 & אינדקס זחילה

Name

הזן כל כתובת אתר. אנו מביאים את כתובת ה־. trxt והאתר של השרת שלנו, מראים לך את ההוראות הזחילה והכרזה על אתרים, וסמן את כתובות האתר של מחרוזת השאילות, אשר גורמות להורדה של דו-משמעית.

איך לבחון רובוטי txt ו sitemap.xml

ארבעה צעדים, אין הרשמה, כל הצ'ק פועל לצד השרת.

1

הדבק את כתובת האתר

הזן את כתובת דף הבית של כל אתר. אתה לא צריך את הנתיב המלא לרובוטים. txt

2

אנחנו מביאים מהשרת שלנו

השרת שלנו מבקש רובוטים. txt וכל sitemap.xml האתרים המוצהר, כך שהמבחן אינו חסום על ידי הדפדפן שלך או המטמון שלך.

3

קרא את ההוראות ואתרי ההדפסה

בדוק את הקבוצות של סוכני המשתמשים, את חוקי הפסולת ואת רשימת המפות המוצהרות, עם דגימת כתובת מכל אחת.

4

תקן את מה שמסומן

פענח כל כתובת אתר-המפה של שאילתר או סכסוכים חסומים אך מבוצעים לפני שמנוע חיפוש ימחק את ההעתקים.

מה בודק הבוחן הזה?

אותם מסילות בטיחות שאנחנו רצים מבפנים לפני פרסום דף אחד.

📜

הנחיות זחילה

מפענח כל קבוצה של משתמש ומערכת שלו אפשר / אסור כללים כך שאתה יכול לראות בדיוק מה הוא חסום.

🗺️

מפות אתרים מוצהרות

רשימת כל ה-EarmeMap התייחסה לרובוטים.txt, מביאה כל אחד, ודיווחת על ספירת סוג וכתובת.

⚠️

Name

KMax

🔗

הביאו בריאות

מפת אתרים מוצפנת ברובוטים. txt שגיאה, הפניה מחדש, או להחזיר רוצחים זוחלים לא-XML

שאלות לעתים קרובות

כתובת אחת של מחרוזת שאילתה באתר יכולה לזרוע אלפי דפים כמעט משוכפלים. מנועי חיפוש זוחלים עליהם, מוצאים את אותו תוכן תחת פרמטרים שונים, וחותכים את כל האשכול עבור תוכן כפול. הבוחן הזה מסמן אותם לפני שזה קורה.
מס 'רובוטים חסרים או ריקים txt פשוט מאפשר כל הזחילה. הסיכון הוא ההפך: איסור שטח יתר כי בלוקים דפים שאתה רוצה אינדקס, או מפת אתר הכריז ברובוטים.txt זה חוזר טעות.
לא, אנחנו מביאים רובוטים.טקסט ואת התרשימים שהוא מכריז עליהם, ואז קוראים דוגמית של כתובות מכל אחד. אנחנו לא זוחלים שוב ושוב כל עמוד, כך שהבדיקה מהירה ולא מעמיסים את השרת שלך.
כן, הבוחן חופשי ללא הרשמה, הגישה לתכנות באמצעות שאר API זמינה בתכניות המנוהלות.
⚙️ מפתחים

תריץ את זה בצנרת שלך.

הבוחן הזה פועל לגמרי לצד השרת ▪ אתה מגיש כתובת, ה-API שלנו, ה-Backend optes and Parse Wotbort.txt ו-Earsemaps המוצהר, לאחר מכן מחדש את הדף הזה עם התוצאות. ראה תוכניות →