🤖 & Mynegai

& Mapiau Safle

Rhowch URL unrhyw safle. Rydym yn cael robots.txt a sitemap.xml o'r gweinydd, yn dangos i chi'r cyfarwyddiadau crawlio a'r mapiau safleoedd a ddatganwyd, a'r LAU map safleoedd llinyn-gwestiynau sy'n achosi gostyngiadau cynnwys dyblyg.

Sut i brofi robots.txt a sitemap.xml

Pedwar cam, dim mewngofnodi. Mae'r gwiriad cyfan yn rhedeg ar ochr y gweinydd.

1

Gludo URL y safle

Rhowch URL tudalen gartref unrhyw safle. Nid oes angen y llwybr llawn i robots.txt arnoch chi - rydym yn ei ddeillio o'r gwesteiwr.

2

Ni wnaethom gael o'n gweinydd

Mae ein gweinydd yn gofyn am robots.txt a phob sitemap.xml a ddatganir, felly nid yw'r prawf yn cael ei atal gan eich porwr na'ch storfa eich hun.

3

Darllen y cyfarwyddiadau a'r mapiau safwe

Adolygu'r grwpiau defnyddiwr-agent wedi'u dosrannu, rheolau gwrthod caniatâd a'r rhestr o fapiau safleoedd wedi'u datgan, gyda LAU sampl o bob un.

4

Cywiro beth sydd wedi'i farcio

Datrys unrhyw LAU map safwe llinyn-gwestiynau neu wrthdaro blocio-ond-mynegeio cyn i beiriant chwilio ostwng y dyblygiadau.

Beth mae'r arbrofiwr hwn yn ei wirio

Y rhai yr un gwarchodfeydd yr ydym yn rhedeg yn fewnol cyn cyhoeddi tudalen sengl.

📜

Cyfarwyddiadau Crawl

Darlunio pob grŵp defnyddiwr- asiant a'i reolau Caniatáu / Caniatáu fel y gallwch weld yn union beth sydd wedi'i atal.

🗺️

Mapiau Safle

Rhestru pob map safwe a gyfeirir ato yn robots.txt, yn nôl pob un, ac yn adrodd ei fath a'i nifer URL.

⚠️

Llinyn Ymholiad

Bandio LAU map-safwe llinyn-gwestiynau sy'n plannu tudalennau sy'n debyg i ddyblygu a chychwyn gostyngiadau cynnwys dyblyg.

🔗

Nôl cyflwr

Caeo safleoedd a ddatganir yn robots.txt sy'n achosi gwall, yn ailgyfeirio, neu'n dychwelyd dim XML - lladdwyr crawlio distaw.

Cwestiynau a ofynnir yn aml

Gall URL llinyn-gwestiynau sengl mewn map safwe gynhyrchu miloedd o dudalennau sy'n debyg i ddyblygu. Mae peiriannau chwilio yn eu pori, yn canfod yr un cynnwys o dan wahanol baramedrau, ac yn gostwng y clwstwr cyfan am gynnwys dyblyg. Mae'r arbrofiwr yma yn eu baneri cyn i hynny ddigwydd.
Na. Mae robots.txt ar goll neu gwag yn caniatáu pob pori. Y risg yw'r gwrthwyneb: gwaharddiad rhy eang sy'n blocio tudalennau rydych chi am eu mynegai, neu map safwe a ddatganir yn robots.txt sy'n dychwelyd gwall.
Na. Rydym yn cael robots.txt a'r saitmaps mae'n eu datgan, yna'n darllen sampl o URLau o bob un. Ni wnawn ni chwilio pob tudalen yn ail-ddigwyddiadol, felly mae'r prawf yn gyflym ac ni fydd yn llwytho eich gweinydd.
Ydy, mae'r arbrofiwr yn rhad ac am ddim heb gofrestru. Mae mynediad rhaglennol drwy API REST ar gael ar y cynlluniau rheoli a thaliadau.
⚙️ Ar gyfer datblygwyr

Rhedeg yn eich pibellau

Mae'r profiwr hwn yn rhedeg yn gyfan gwbl ar ochr y gweinydd - rydych yn cyflwyno URL, mae ein cylchfa yn cael a gramadegu robots.txt a'r safleoedd a ddatganwyd, yna yn ail-lunio'r dudalen hon gyda'r canlyniadau. Mae API REST rhaglennol ar gyfer CI/CD a gwirio llwyth ar gael ar y cynlluniau rheoli a thaliadau. Gweld cynlluniau →