🤖 መዝገብ ቤትን ክፈት

robots.txt እና የጣቢያ ካርታ

ማንኛውንም ጣቢያ URL ያስገቡ. እኛ robots.txt እና sitemap.xml ከ ሰርቨርችን ጋር ማግኘት, የእርስዎን ክሮል መመሪያዎች እና የተገለጸው sitemaps, እና ምልክት የጠየቀ-ስዕል sitemap URLs ተመሳሳይ-ምስጢር demotions ምክንያት.

robots.txt እና sitemap.xml እንዴት እንደሚፈተሽ

አራት ደረጃዎች, ምንም መመዝገብ. ሁሉንም ማረጋገጫ ሰርቨር-በኩል ይሮጣል.

1

የጣቢያው URL

የእያንዳንዱን ጣቢያ የቤት ገጽ URL ያስገቡ። ወደ robots.txt የሙሉ መንገድ አትፈልጉም - ከሆስቴቱ እንወስዳለን።

2

ከሰርቨርችን ማግኘት እንችላለን

ሰርቨራችን robots.txt እና ሁሉ የተገለጸ sitemap.xml ይጠይቃል, ስለዚህ ሙከራ በእርስዎ መቃኛ ወይም የራስዎን ካሽ ውስጥ ተይዟል አይደለም.

3

የድረ ገጽ መተላለፊያ

የፈተነው ተጠቃሚ-አጋጣሚ ቡድኖች, ደንቦችን እና የታወቀው የጣቢያ መተግበሪያዎች ዝርዝር, ከእያንዳንዱ URL ምሳሌ ጋር ማየት.

4

የፊደል ቅርጽ፦ (_F)

የፍለጋ ፕሮግራም ተመሳሳይ ፊደሎችን ከመቀነስ በፊት ማንኛውንም የጠየቅ-ስዕል የጣቢያ ካርታ URLs ወይም የተከለከሉ-ግን-የተዘረዘሩ ግጭቶች መፍታት.

ይህ ምርመራ ምን እንደሚያረጋግጥ

አንድ ገጽ ከመፃፍ በፊት በውስጣችን የምናደርጋቸው ተመሳሳይ የደህንነት እርምጃዎች አሉን፡፡

📜

የቀን/ሰዓት ደንቦች

የእያንዳንዱን ተጠቃሚ-አጋጣሚ ቡድን እና የፈቀደ / ያልፈቀደ ደንቦችን ያጠናክር ስለዚህ ምን እንደተከለከለ በትክክል ማየት ይችላሉ።

🗺️

የጣቢያው መነሻ

robots.txt ውስጥ የተጠቀሰው የጣቢያ ካርታ ሁሉ ዝርዝር, ሁሉንም ማግኘት, እና ዓይነት እና URL ቁጥር ሪፖርት.

⚠️

የጥያቄ-ስዕል

የጣቢያው መተላለፊያ URLs ቅርንጫፎችን ተመሳሳይ ያደርጋሉ እና ተመሳሳይ-ምግብ ማስቀመጫዎችን ያነሳሳሉ

🔗

የጤና ሁኔታ

robots.txt ውስጥ የተገለጸ ስፍራ ማሳያ ይይዛል ስህተት, redirect, ወይም XML-የተላከ አይደለም - የሙቀት crawl killer.

የሚጠየቁ ጥያቄዎች

አንድ ሴክሽን-ስዕል URL በአንድ ጣቢያ ማውጫ ውስጥ ሺዎች የቅርብ-የተጣራ ገጾች ሊተላለፍ ይችላል. የፍለጋ ማሽን ማግኘት, በተለያዩ ፓራሜትሮች ውስጥ ተመሳሳይ ይዘት ማግኘት, እና ተመሳሳይ ይዘት ሙሉ ክለሳ ዝቅ. ይህ ፈተና ይህ ከመድረሱ በፊት ፊርማዎች እነርሱ.
አይደለም. አንድ የሌለ ወይም ባዶ robots.txt በፍጥነት ሁሉ crawling ያስችላል. አደጋው የቀደመው ነው: አንድ ረጅም-በስፋት የማይፈቅድ ያ ገጾች መዝገብ ቤት ውስጥ ይፈልጋሉ ወይም ስህተት ይመለሳል robots.txt ውስጥ የተገለጸው የጣቢያ ካርታ.
አይደለም. እኛ robots.txt እና የጣቢያ ካርታዎች ያሳውቃል ማግኘት, ከዚያም ከእያንዳንዱ URLs ምሳሌ ማንበብ. እኛ recursively ገጽ ሁሉ አይጎተቱም, ስለዚህ ሙከራ ፈጣን ነው እና ሰርቨርዎን አይጫንም.
አዎ, የሙከራ ነጻ ነው ያለ ምዝገባ. በ REST API በኩል ፕሮግራም መዳረሻ በተቀመጠው የተስተዳደሩ ዕቅዶች ላይ ይገኛል.
⚙️ ለተጠቃሚዎች

በፓይፕሊንዎ ውስጥ ይጫኑት

ይህ ፈተና በሙሉ ሰርቨር-ገጽ ላይ ይሠራል - ዩአርኤልን ያቀርባሉ, የኋላችን ማግኘት እና robots.txt እና የተገለጸው የጣቢያ ካርታዎችን ማጣራት, ከዚያም ውጤቶች ጋር ይህን ገጽ ይቀየራል. ለ CI / CD እና ለብዙ ግምገማ ፕሮግራማዊ REST API በተቀመጠው የተስተዳደሩ ፕሮግራሞች ላይ ይገኛል. ዕቅድ →