🤖 Nhazi

robots. txt & Sitemap Nlekọta

Enter any site URL. We fetch its robots.txt and sitemap.xml from our server, show you the crawl directives and declared sitemaps, and flag the query-string sitemap URLs that cause duplicate-content demotions.

Olee otú ịtụle a robots.txt na sitemap.xml

Nzọụkwụ anọ, enweghị ndebanye. Nlekọta niile ahụ na-arụ ọrụ na sava-akụkụ.

1

Tinye saịtị URL

Tinye URL nke ibe ebe ọbụla. I gaghị enwe mkpa ụzọ zuru ezu na robots.txt - anyị na-eweta ya site na ọ̀rụ̀.

2

Anyị na-ewepụ site na sava anyị

Anyị server chọrọ robots.txt na niile declared sitemap.xml, otú ahụ ajụjụ bụ na-adịghị blocked site na gị browser ma ọ bụ gị onwe gị cache.

3

Gụọ iwu ndị ahụ na saịtịmaps

Nlekọta ndị ọrụ-ajenti ndị a haziri, hapụ iwu na ndesịta nke saịtịmaps akọwapụtara, na URL n'obere site n'otu.

4

Weghachi ihe ahụ émepụtara

Wepụta ọbụla query-string sitemap URLs mọọbụ gbochie-ma ọ bụ-indesịta n'ụdị n'ihu engine nchọgharị na-ewepụ ndị ọfụụ.

Ihe ndị ahụ onyennyocha a na-enyocha

The ndị ahụ guardrails anyị na-agba ọsọ n'ime tupu wepụta otu ihuakwụkwọ.

📜

Nhazi ndị ahụ

Na-akọwapụta otu ndị ọrụ-ajenti na iwu ya Ahapụ/Ezighị ikike ka ị ga-ahụ n'ụzọ ziri ezi ihe a gbochiela.

🗺️

Sịtmaps

Na-egosi ndesịta nke sịtịmap ọbụla ekwenyere na robots.txt, na-eweta nke ọbụla, nakwa ozi nke ụdị ya na ọnụọgụgụ URL.

⚠️

Nchọgharị-ụdị

Fọlaịsị nchọgharị-ụdị sịtema URLs nke na-ewere n'ebe dị nso n'ihuakwụkwọ ndị dị n'otu na-emegharịa n'ihe ndị dị n'otu.

🔗

Wepụta

Na-ewepụ sitemaps egosipụtara na robots.txt na njehie, na-ebuli, ma ọ bụ na-ebuli non-XML - ndị na-egbochi ndị na-egbochi.

Ajụjụ ndị a na-ajụkarị

URL nke ọbụla nke ajụjụ-ụdị na saịtịmap nwere ike igosi ọtụtụ puku ihuakwụkwọ na-ekpeghị n'otu. Nchọgharị engines na-ekpe ha, na-ahụ ihenhọrọ ndị ahụ n'okpuru paramita dị iche iche, na-ewepụkwa klasọr ahụ niile maka ihenhọrọ ndị ekpeghị n'otu. Nnwale a na-egosipụta ha tupu nke ahụ ga-eme.
Ọ dịghị. A na-enweghị ma ọ bụ robots.txt na-enye ohere niile na-emegharị. Ọ bụ ihe ize ndụ: a na-emeghe na-emeghe na-egbochi peeji ịchọrọ ịkọwapụta, ma ọ bụ sitemap egosipụtara na robots.txt nke na-eziga njehie.
Ọ dịghị. Anyị na-eweta robots.txt na sitemaps ọ na-ekwupụta, mgbe ahụ gụọ ihe atụ nke URLs site na otu. Anyị anaghị achọgharị ibe ọ bụla, yabụ nyocha ahụ dị ngwa ma ọ gaghị etinye sava gị.
Ee, onyenwere ike bụ n'efu na-enweghị nbanye. Programmatic access site na REST API dị na-emepe na-akwụ ụgwọ n'ime usoroiheomume.
⚙️ Maka ndị mmepe

Bipụta ya n'ime pipeline gị

Ọrụ a na-arụ ọrụ na-arụ ọrụ na-arụ ọrụ na-arụ ọrụ - ị na-enye URL, anyị na-eweta na robots.txt na sitemaps, wee gbanwee ibe a na nsonaazụ. A programmatic REST API maka CI / CD na mbupu auditing dị na atụmatụ ndị a na-akwụ ụgwọ. Gosi atụmatụ →