robots. txt ଏବଂ ସାଇଟମାପ ପରୀକ୍ଷକ
କୌଣସି ସାଇଟ URL ଭରଣ କରନ୍ତୁ। ଆମେ ଏହାର robots.txt ଏବଂ sitemap.xml କୁ ଆମର ସର୍ଭରରୁ ଆଣିଥାଉ, ଆପଣଙ୍କୁ କ୍ରଲ ନିର୍ଦ୍ଦେଶନାମା ଏବଂ ଘୋଷଣା କରାଯାଇଥିବା ସାଇଟମେପଗୁଡ଼ିକୁ ଦେଖାଇଥାଉ, ଏବଂ ପ୍ରଶ୍ନ-ସଂଖ୍ୟାଗୁଡିକୁ ସାଇଟମେପ URLଗୁଡ଼ିକୁ ଫ୍ଲାଗ କରୁଅଛି ଯାହାକି ନକଲି-ସଂହତିକୁ ନିମ୍ନତର କରିଥାଏ।
robots.txt ଏବଂ sitemap.xml କୁ କିପରି ପରୀକ୍ଷଣ କରାଯିବ
ଚାରିଟି ପଦକ୍ଷେପ, କୌଣସି ସଦସ୍ୟତା ନାହିଁ। ସମ୍ପୂର୍ଣ୍ଣ ଯାଞ୍ଚ ସର୍ଭର-ପୃଷ୍ଠାରୁ ଚାଲିଥାଏ।
ସାଇଟ URLକୁ ଲଗାନ୍ତୁ
ଯେକୌଣସି ସାଇଟର ମୂଳସ୍ଥାନ ପୃଷ୍ଠା URL ଭରଣ କରନ୍ତୁ। robots.txt ପାଇଁ ଆପଣଙ୍କୁ ସମ୍ପୂର୍ଣ୍ଣ ପଥର ଆବଶ୍ୟକତା ନାହିଁ - ଆମେ ଏହାକୁ ହୋଷ୍ଟରୁ ଗ୍ରହଣ କରିଥାଉ।
ଆମେ ଆମର ସର୍ଭରରୁ ଆଣିଲୁ
ଆମ ସର୍ଭର robots.txt ଏବଂ ପ୍ରତ୍ୟେକ ଘୋଷଣା କରାଯାଇଥିବା sitemap.xml ଅନୁରୋଧ କରେ, ତେଣୁ ପରୀକ୍ଷାଟି ଆପଣଙ୍କର ବ୍ରାଉଜର କିମ୍ବା ଆପଣଙ୍କର ନିଜ କ୍ୟାଶେ ଦ୍ୱାରା ବନ୍ଦ ହୋଇନଥାଏ।
ନିର୍ଦ୍ଦେଶନାମା ଏବଂ ସାଇଟମେପଗୁଡ଼ିକୁ ପଢନ୍ତୁ
ବିଶ୍ଳେଷଣ କରାଯାଇଥିବା ଚାଳକ-ଅଧିକାରୀ ସମୂହଗୁଡ଼ିକୁ ଯାଞ୍ଚ କରନ୍ତୁ, ନିୟମଗୁଡ଼ିକୁ ଅନୁମତି ଦିଅନ୍ତୁ ନାହିଁ ଏବଂ ଘୋଷଣା କରାଯାଇଥିବା ସାଇଟମେପଗୁଡ଼ିକର ତାଲିକା, ପ୍ରତ୍ୟେକରୁ ଗୋଟିଏ URL ନମୁନା ସହିତ।
ଫ୍ଲାଗ ହୋଇଥିବାକୁ ଠିକ କରନ୍ତୁ
କୌଣସି ପ୍ରଶ୍ନ-ସଂକେତ ସାଇଟମ୍ୟାପ URL କିମ୍ବା ଅଟକାଯାଇଥିବା-କିନ୍ତୁ-ସଂକେତିତ ବିବାଦକୁ ସମାଧାନ କରନ୍ତୁ ଗୋଟିଏ ସନ୍ଧାନ ଯନ୍ତ୍ର ନକଲଗୁଡ଼ିକୁ ନିମ୍ନତର କରିବା ପୂର୍ବରୁ।
ଏହି ପରୀକ୍ଷକ କଣ ଯାଞ୍ଚ କରେ
ଗୋଟିଏ ପୃଷ୍ଠା ପ୍ରକାଶ କରିବା ପୂର୍ବରୁ ଆମେ ଆଭ୍ୟନ୍ତରୀଣ ଭାବେ ସେହିଭଳି ସୁରକ୍ଷା ବ୍ୟବସ୍ଥା ଗ୍ରହଣ କରୁ ।
କ୍ରୋଲ ନିର୍ଦ୍ଦେଶନାମା
ପ୍ରତ୍ୟେକ ଚାଳକ-ଅଧିକାରୀ ସମୂହ ଏବଂ ଏହାର ଅନୁମତି / ଅଗ୍ରାହ୍ୟ ନିୟମକୁ ବିଶ୍ଳେଷଣ କରେ ଯାହାଦ୍ୱାରା ଆପଣ ଠିକ ଭାବରେ ଦେଖିପାରିବେ କି କଣ ବନ୍ଦ ଅଛି।
ଘୋଷଣା କରାଯାଇଥିବା ସାଇଟମେପଗୁଡ଼ିକ
robots.txt ରେ ଉଲ୍ଲେଖିତ ପ୍ରତ୍ୟେକ ସାଇଟମେପକୁ ତାଲିକାବଦ୍ଧ କରେ, ପ୍ରତ୍ୟେକକୁ ଆଣିଥାଏ, ଏବଂ ଏହାର ପ୍ରକାର ଏବଂ URL ଗଣନାକୁ ରିପୋର୍ଟ କରେ।
ପ୍ରଶ୍ନ-ଶବ୍ଦଖଣ୍ଡ ବଢ଼ାନ୍ତୁ
ପ୍ରଶ୍ନ-ସଂକେତ ସାଇଟମ୍ୟାପ URLଗୁଡ଼ିକୁ ଫ୍ଲାଗ କରେ ଯାହାକି ପାଖାପାଖି-ନକଲ ପୃଷ୍ଠାଗୁଡ଼ିକୁ ବିସ୍ତାର କରେ ଏବଂ ନକଲ-ସମଗ୍ରକୁ ନିମ୍ନତର କରେ।
ସ୍ୱାସ୍ଥ୍ୟକୁ ଆଣନ୍ତୁ
robots.txt ରେ ଘୋଷଣା କରାଯାଇଥିବା ସାଇଟମେପକୁ ଧରିଥାଏ ଯେ ତ୍ରୁଟି, ପୁନଃସଂଯୋଜିତ, କିମ୍ବା ଅଣ-XML ଫେରାଇଥାଏ - ନିରବ କ୍ରୋଲ କିଲର।
ସାଧାରଣ ପ୍ରଶ୍ନ
ଏହାକୁ ଆପଣଙ୍କର ପାଇପ ରେ ଚଲାନ୍ତୁ
ଏହି ପରୀକ୍ଷକ ସମ୍ପୂର୍ଣ୍ଣ ଭାବରେ ସର୍ଭର-ପାର୍ଶ୍ୱରେ ଚାଲିଥାଏ - ଆପଣ ଗୋଟିଏ URL ଦାଖଲ କରନ୍ତି, ଆମର ପୃଷ୍ଠଭୂମି robots.txt ଏବଂ ଘୋଷଣା କରାଯାଇଥିବା ସାଇଟମାପକୁ ପାଇଥାଏ ଏବଂ ବିଶ୍ଳେଷଣ କରେ, ତା'ପରେ ଫଳାଫଳ ସହିତ ଏହି ପୃଷ୍ଠାକୁ ପୁନଃପ୍ରଦର୍ଶନ କରେ। CI/CD ଏବଂ ବୃହତ ଯାଞ୍ଚ ପାଇଁ ଗୋଟିଏ ପ୍ରଗ୍ରାମାଟିକ୍ REST API ପୈଠିତ ପରିଚାଳିତ ଯୋଜନାରେ ଉପଲବ୍ଧ। ଯୋଜନା ଦେଖନ୍ତୁ →