robots. txt & સાઇટમેપ ચકાસનાર
કોઈપણ સાઇટ URL દાખલ કરો. અમે અમારા સર્વરમાંથી robots.txt અને sitemap.xml મેળવીએ છીએ, તમને ક્રોલ ડાયરેક્ટિવ્સ અને જાહેર કરેલ સાઇટમેપ બતાવીએ છીએ, અને નકલી-સમગ્રી demotions ને કારણભૂત કરતી પ્રશ્ન-શબ્દમાળા સાઇટમેપ URLs ને ફ્લેગ કરીએ છીએ.
robots.txt અને sitemap.xml કેવી રીતે ચકાસણી કરો
ચાર પગલાં, કોઈ નોંધણી નથી. આખી ચકાસણી સર્વર-બાજુએ ચાલે છે.
સાઇટ URL ચોંટાડો
કોઈપણ સાઇટના ઘરપૃષ્ઠ URL દાખલ કરો. robots.txt માટે તમારે સંપૂર્ણ પાથની જરૂર નથી - અમે તેને યજમાનમાંથી મેળવીએ છીએ.
અમે અમારા સર્વરમાંથી મેળવીએ છીએ
અમારું સર્વર robots.txt અને દરેક જાહેર થયેલ sitemap.xml માટે વિનંતી કરે છે, તેથી ચકાસણી તમારા બ્રાઉઝર અથવા તમારા પોતાના કેશ દ્વારા અટકાવાયેલ નથી.
ડાયરેક્ટિવ્સ અને સાઇટમેપ વાંચો
પદચ્છેદન થયેલ વપરાશકર્તા-એજન્ટ જૂથો, નિયમોને નકારો અને સાઇટમેપની યાદીની સમીક્ષા કરો, દરેકમાંથી URL નમૂના સાથે.
ફ્લેગ થયેલ છે તે સુધારો
શોધ એન્જિન નકલોને નીચે કરે તે પહેલાં કોઈપણ પ્રશ્ન-શબ્દમાળા સાઇટમેપ URLs અથવા બ્લોક થયેલ-પણ-અનુક્રમિત થયેલ તકરારો ઉકેલો.
આ ચકાસનાર શું ચકાસે છે
એક જ પાનાને પ્રકાશિત કરતા પહેલા આપણે આંતરિક રીતે એ જ પ્રકારની સુરક્ષા વ્યવસ્થા કરીએ છીએ.
ક્રોલ નિયમો
દરેક વપરાશકર્તા-એજન્ટ જૂથ અને તેના પરવાનગી / અનામત નિયમોનું પદચ્છેદન કરે છે જેથી તમે બરાબર શું બ્લોક થયેલ છે તે જોઈ શકો.
સાઇટમેપને જાહેર કરો
robots.txt માં સંદર્ભિત દરેક સાઇટમેપની યાદી કરે છે, દરેકને મેળવે છે, અને તેના પ્રકાર અને URL ગણતરીનો અહેવાલ આપે છે.
પ્રશ્ન-શબ્દમાળા બ્લોટ
ફ્લેગ્સ પ્રશ્ન-શબ્દમાળા સાઇટમાપ URLs કે જે નજીક-નકલી પાનાંઓ સીડ કરે છે અને નકલી-સમગ્ર ઘટાડાઓને ચલાવશે.
સ્વાસ્થ્ય મેળવો
robots.txt માં જાહેર થયેલ સાઇટમેપને પકડશે કે જે ભૂલ, પુન:દિશામાન, અથવા XML નહિં હોય તેવા પાછા આપે છે - શાંત ક્રોલ કિલર્સ.
વારંવાર પૂછાતા પ્રશ્નો
તમારા પાઇપલાઇનમાં તેને ચલાવો
આ ચકાસનાર સંપૂર્ણપણે સર્વર-બાજુ ચાલે છે - તમે URL રજૂ કરો, અમારું બેકએન્ડ robots.txt અને જાહેર કરેલ સાઇટમેપ મેળવે છે અને પદચ્છેદ કરે છે, પછી પરિણામો સાથે આ પાનું પુનઃરેન્ડર કરે છે. CI/CD અને મોટા પ્રમાણમાં ઓડિટીંગ માટે પ્રોગ્રામેટિક REST API ચૂકવણી સંચાલિત યોજનાઓ પર ઉપલબ્ધ છે. યોજનાઓ જુઓ →