🤖 Crawl & indexing

Robots.txt & Sitemap Tester

Ang aming mga robots.txt at sitemap.xml mula sa aming server, ipakita sa iyo ang mga direktiba ng crawl at ipinahayag sitemaps, at flag ang query-string sitemap URL na sanhi ng duplicate-content demotions.

Paano subukan ang isang robots.txt at sitemap.xml

Apat na hakbang, walang pag-signup. Ang buong check tumatakbo server-side.

1

I-paste ang site URL

Hindi mo kailangan ang buong path sa robots.txt — nakuha namin ito mula sa host.

2

Kami fetch mula sa aming server

Ang aming server ay humihiling robots.txt at bawat ipinahayag sitemap.xml, kaya ang pagsubok ay hindi na-block sa pamamagitan ng iyong browser o ang iyong sariling cache.

3

Basahin ang mga alituntunin at sitemaps

Tingnan ang parsed user-agent grupo, huwag payagan ang mga patakaran at ang listahan ng ipinahayag sitemaps, na may isang URL sample mula sa bawat isa.

4

Ayusin kung ano ang flagged

Ayusin ang anumang query-string sitemap URL o blocked-ngunit-indexed mga alitan bago ang isang search engine demotes ang mga duplicate.

Ano ang test na ito ay sinusuri

Ang parehong guardrails tumatakbo namin sa loob bago mag-publish ng isang solong pahina.

📜

Crawl mga alituntunin

Parses bawat user-agent grupo at ang mga panuntunan nito Payagan / Huwag payagan upang maaari mong makita kung ano ang eksaktong blocked.

🗺️

Ipinahayag sitemaps

Ang mga ito ay maaaring ma-access sa pamamagitan ng robots.txt, na kung saan ay isang file na naglalaman ng mga URL.

⚠️

Talaan ng mga lansangan sa Kalakhang Maynila

Ang mga URL ng mga sitemap ay maaaring maglaman ng mga duplikadong pahina o mga duplikadong mga URL.

🔗

Kumuha ng kalusugan

Ang mga sitemap ay maaaring i-deploy sa robots.txt, na kung saan ay isang file na naglalaman ng mga URL ng mga pahina.

Mga madalas itanong na katanungan

Ang isang solong query-string URL sa isang sitemap ay maaaring mag-seed ng libu-libong mga malapit-duplicate na mga pahina. Search engine crawl ang mga ito, hanapin ang parehong nilalaman sa ilalim ng iba’t ibang mga parameter, at degrade ang buong cluster para sa duplicate na nilalaman. Ang tester flags ang mga ito bago na mangyayari.
Ang panganib ay ang kabaligtaran: isang labis na malawak na hindi payagan na blocks mga pahinais mong indexed, o isang sitemap ipinahayag sa robots.txt na bumalik ng isang error.
Hindi. Nakuha namin ang robots.txt at ang mga sitemap na ipinahayag nito, pagkatapos ay basahin ang isang sample ng mga URL mula sa bawat isa. Hindi namin recursively crawl ang bawat pahina, kaya ang pagsubok ay mabilis at hindi mag-load ang iyong server.
Oo, ang tester ay libre nang walang pag-signup. Programmatic access sa pamamagitan ng isang REST API ay magagamit sa mga bayad na pinamamahalaang mga plano.
⚙️ Para sa mga developer

Patakbuhin ito sa iyong pipeline

Ang tester na ito ay tumatakbo ganap na server-side - mag-submit ka ng isang URL, ang aming backend fetches at parses robots.txt at ang ipinahayag sitemaps, pagkatapos ay muling-render ang pahina na ito sa mga resulta. Ang isang programatikong REST API para sa CI / CD at bulk auditing ay magagamit sa mga bayad na pinamamahalaang mga plano. Tingnan ang mga plano →