robots. txt & ਸਾਇਟ- ਮੇਪ ਟੈਸਟਰ
ਕੋਈ ਵੀ ਸਾਇਟ URL ਦਿਓ । ਅਸੀਂ ਆਪਣੇ ਸਰਵਰ ਤੋਂ robots. txt ਅਤੇ sitemap. xml ਲਿਆਉਂਦੇ ਹਾਂ, ਤੁਹਾਨੂੰ ਕ੍ਰਾਲ ਡਾਇਰੈਕਟਰੀਆਂ ਅਤੇ ਐਲਾਨੇ ਸਾਇਟਮੈਪ ਵੇਖਾਉਂਦੇ ਹਾਂ ਅਤੇ ਕਿਊਰੀ- ਸਤਰ ਸਾਇਟਮੈਪ URL ਨੂੰ ਫਲੈਗ ਕਰਦੇ ਹਾਂ, ਜੋ ਕਿ ਡੁਪਲੀਕੇਟ ਸਮੱਗਰੀ ਨੂੰ ਡਿਮੋਸ਼ਨ ਦਿੰਦਾ ਹੈ ।
robots.txt ਅਤੇ sitemap.xml ਨੂੰ ਕਿਵੇਂ ਟੈਸਟ ਕਰਨਾ ਹੈ
ਚਾਰ ਸਟੈਪ, ਕੋਈ ਸਾਈਨ- ਇਨ ਨਹੀਂ ਹੈ । ਪੂਰੀ ਜਾਂਚ ਸਰਵਰ- ਪਾਸੇ ਚੱਲਦੀ ਹੈ ।
ਸਾਇਟ URL ਚਿਪਕਾਓ
ਕਿਸੇ ਵੀ ਸਾਇਟ ਦਾ ਮੁੱਖ ਪੇਜ਼ URL ਦਿਓ । ਤੁਹਾਨੂੰ robots. txt ਲਈ ਪੂਰਾ ਮਾਰਗ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ — ਅਸੀਂ ਇਹ ਹੋਸਟ ਤੋਂ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਾਂ ।
ਅਸੀਂ ਆਪਣੇ ਸਰਵਰ ਤੋਂ ਲਿਆ
ਸਾਡਾ ਸਰਵਰ robots.txt ਅਤੇ ਹਰ ਇੱਕ ਐਲਾਨਿਤ sitemap.xml ਦੀ ਮੰਗ ਕਰਦਾ ਹੈ, ਤਾਂ ਕਿ ਟੈਸਟ ਤੁਹਾਡੇ ਬਰਾਊਜ਼ਰ ਜਾਂ ਤੁਹਾਡੇ ਆਪਣੇ ਕੈਸ਼ ਵਲੋਂ ਰੋਕਿਆ ਨਹੀਂ ਜਾ ਸਕੇ।
ਡਾਇਰੈਕਟਰੀਆਂ ਅਤੇ ਸਾਇਟ- ਮੈਪ ਪੜ੍ਹੋ
ਪਾਰਸ ਕੀਤੇ ਯੂਜ਼ਰ- ਏਜੰਟ ਗਰੁੱਪ, ਰੂਲਜ਼ ਅਤੇ ਸਾਇਟਮੈਪ ਦੀ ਲਿਸਟ ਵੇਖੋ, ਹਰੇਕ ਲਈ URL ਨਮੂਨਾ ਹੈ ।
ਫਲੈਗ ਜੋੜੋ
ਕਿਸੇ ਵੀ ਕਿਊਰੀ- ਸਤਰ ਸਾਇਟਮੈਪ URL ਜਾਂ ਬਲਾਕ- ਪਰ- ਇੰਡੈਕਸਡ ਟਕਰਾਅ ਨੂੰ ਖੋਜ ਇੰਜਣ ਦੇ ਡੁਪਲੀਕੇਟ ਨੂੰ ਡਿਮੋਟ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਹੱਲ ਕਰੋ ।
ਇਹ ਟੈਸਟਰ ਕੀ ਚੈੱਕ ਕਰਦਾ ਹੈ
ਉਹੀ ਗਾਰਡਰੇਲਜ਼ ਜੋ ਅਸੀਂ ਅੰਦਰੂਨੀ ਤੌਰ ‘ਤੇ ਇੱਕ ਸਫ਼ੇ ਨੂੰ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਚਲਾਉਂਦੇ ਹਾਂ।
ਕ੍ਰਾਲ ਡਾਇਰੈਕਟਰੀਆਂ
ਹਰ ਯੂਜ਼ਰ- ਏਜੰਟ ਗਰੁੱਪ ਅਤੇ ਇਸ ਦੇ ਮਨਜ਼ੂਰ/ ਮਨਜ਼ੂਰ ਨਾ ਕਰਨ ਦੇ ਨਿਯਮ ਪਾਰਸ ਕਰੋ ਤਾਂ ਕਿ ਤੁਸੀਂ ਵੇਖ ਸਕੋ ਕਿ ਕੀ ਰੋਕਿਆ ਗਿਆ ਹੈ ।
ਐਲਾਨ ਕੀਤੇ ਸਾਇਟ- ਮੈਪ
robots.txt ਵਿੱਚ ਹਵਾਲਾ ਦਿੱਤਾ ਹਰ ਸਾਇਟਮੇਪ ਦੀ ਲਿਸਟ, ਹਰੇਕ ਨੂੰ ਲਿਆਓ ਅਤੇ ਇਸ ਦੀ ਕਿਸਮ ਅਤੇ URL ਗਿਣਤੀ ਰਿਪੋਰਟ ਕਰੋ ।
ਕਿਊਰੀ- ਸਤਰ ਬੂਟ
ਕਿਊਰੀ- ਸਤਰ ਸਾਇਟ- ਮੇਪ URL ਫਲੈਗ, ਜੋ ਕਿ ਨਜ਼ਦੀਕੀ- ਡੁਪਲੀਕੇਟ ਸਫ਼ੇ ਝਾੜਦੇ ਹਨ ਅਤੇ ਡੁਪਲੀਕੇਟ- ਸਮੱਗਰੀ ਡਿਮੋਸ਼ਨ ਟਰਿੱਗਰ ਕਰਦੇ ਹਨ ।
ਸਿਹਤ ਲਵੋ
robots.txt ਵਿੱਚ ਐਲਾਨੇ ਗਏ ਸਾਇਟਮੈਪ ਫੜੋ, ਜੋ ਕਿ ਗਲਤੀ, ਮੁੜ- ਨਿਰਦੇਸ਼ਿਤ, ਜਾਂ ਗ਼ੈਰ-XML - ਸ਼ਾਂਤ ਕ੍ਰਾਲ ਕਿਲਰ ਹਨ।
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਆਪਣੇ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਚਲਾਓ
ਇਹ ਟੈਸਟਰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਰਵਰ-ਸਾਇਡ ਚੱਲਦਾ ਹੈ - ਤੁਸੀਂ URL ਭੇਜਦੇ ਹੋ, ਸਾਡਾ ਬੈਕਐਂਡ robots.txt ਅਤੇ ਐਲਾਨੇ ਸਾਇਟਮੈਪ ਨੂੰ ਲੈਂਦਾ ਹੈ ਅਤੇ ਪਾਰਸ ਕਰਦਾ ਹੈ, ਫਿਰ ਨਤੀਜਿਆਂ ਨਾਲ ਇਹ ਸਫ਼ਾ ਮੁੜ-ਰੈਂਡਰ ਕਰਦਾ ਹੈ। CI/CD ਅਤੇ ਬੱਲਕ ਆਡੀਟਿੰਗ ਲਈ ਇੱਕ ਪ੍ਰੋਗਰਾਮਿਕ REST API ਭੁਗਤਾਨ ਕੀਤੇ ਪ੍ਰਬੰਧਿਤ ਪਲਾਨ ਉੱਤੇ ਉਪਲੱਬਧ ਹੈ। ਯੋਜਨਾਵਾਂ ਵੇਖੋ →