🤖 & Innéacsú

robots.txt & Mapa Suímh Tástálaí

Cuir isteach aon URL suíomh.Feicimid a robots.txt agus sitemap.xml ó ár bhfreastalaí, a thaispeáint duit na treoracha crawl agus sitemaps dhearbhú, agus bratach an URLs sitemap cheist-teaghrán a chur faoi deara dúblach-ábhar demotions.

Conas a thástáil robots.txt agus sitemap.xml

Ceithre chéim, gan aon síniú suas. Ritheann an seiceáil iomlán taobh freastalaí.

1

Greamaigh URL an tsuímh

Ní gá duit an chonair iomlán chuig robots.txt a bheith agat — faighimid é ón óstríomhaire.

2

Faighimid ó ár bhfreastalaí

Iarrann ár bhfreastalaí robots.txt agus gach sitemap.xml dhearbhú, mar sin nach bhfuil an tástáil blocáilte ag do bhrabhsálaí nó do taisce féin.

3

Léigh na treoracha agus na léarscáileanna suímh

Athbhreithniú a dhéanamh ar na grúpaí gníomhaire úsáideora parsáilte, rialacha a dhiúltú agus liosta na léarscáileanna suíomh dearbhaithe, le sampla URL ó gach ceann acu.

4

Ceartaigh an rud atá brataithe

Réiteach ar aon URLanna sitemap ceist-teaghrán nó coinbhleachtaí blocáilte-ach-innéacsaithe sula downgrades inneall cuardaigh na dúbailtí.

Cad a sheiceáil an tástálaí seo

Na gardaí céanna a reáchtáil againn go hinmheánach roimh fhoilsiú leathanach amháin.

📜

Treoracha Crawl

Parsáil gach grúpa gníomhaire úsáideora agus a rialacha Ceadaigh / Dícheadaigh ionas gur féidir leat a fheiceáil go díreach cad atá blocáilte.

🗺️

Mapaí Láithreáin Dhearbhaithe

Liostaí gach léarscáil suíomh a bhfuil tagairt i robots.txt, fetches gach ceann, agus tuairiscí a chineál agus URL comhaireamh.

⚠️

Teaghrán iarratais bloat

Bratacha URLanna mapa suímh teaghrán iarratais a shíolraíonn leathanaigh in aice le dúblach agus a spreagann ísliú ábhar dúblach.

🔗

Faigh Sláinte

Gabhálaí sitemaps dhearbhú i robots.txt go earráid, atreorú, nó ar ais neamh-XML — dúnmharfóirí crawl adh.

Ceisteanna Coitianta

Is féidir le URL amháin teaghrán iarratais i léarscáil suímh na mílte leathanach atá in aice le dúblach a shíolú. Crawlann innill chuardaigh iad, aimsíonn siad an t-ábhar céanna faoi pharaiméadair éagsúla, agus laghdaíonn siad an braisle iomlán le haghaidh ábhar dúblach. Braitheann an tástálaí seo iad sula dtarlaíonn sé sin.
Níl. Ceadaíonn robots.txt ar iarraidh nó folamh ach gach crawling. Is é an riosca a mhalairt: a dhiúltú ró-leathan go bloic leathanaigh is mian leat innéacsaithe, nó léarscáil suímh dhearbhú i robots.txt a fhilleann ar earráid.
Ní dhéanann muid a fháil robots.txt agus na léarscáileanna suíomh dearbhaíonn sé, ansin léigh sampla de URLanna ó gach ceann. Ní dhéanann muid crawl athchúrsúil gach leathanach, mar sin tá an tástáil tapa agus ní bheidh a luchtú do fhreastalaí.
Tá, tá an tástálaí saor in aisce gan aon síniú.Tá rochtain ríomhchláraithe trí API REST ar fáil ar na pleananna bainistithe íoctha.
⚙️ Do fhorbróirí

Rith sé i do phíblíne

Ritheann an tástálaí go hiomlán taobh freastalaí - a chuireann tú URL, ár fetches backend agus parsáil robots.txt agus na léarscáileanna suíomh dhearbhú, ansin re-rindreáil an leathanach seo leis na torthaí.Tá API REST cláir le haghaidh CI / CD agus iniúchadh mórchóir ar fáil ar na pleananna íoctha bainistithe. Féach ar phleananna →