robots.txt און סייטמאַפּע טעסטער
אַרײַנשרײַבן אַ וועבזייַטל URL. מיר אַרײַנשטעלן זײַן robots.txt און sitemap.xml פֿון אונדזער סערװירער, װײַזן אײַך די װײַזונגען און דערקלערט סײַטמאַפּס, און פֿלאַגירן די פֿראַגע־פֿאַרבײַט־סײַטמאַפּס URLס װאָס װײַזן אױף דופּליקאַט־אינפֿאָרמאַציע
ווי צו פּרובירן אַ robots.txt און סאַטעליט מאַפּע.xml
פֿיר שריט, ניט קיין צושטימען. דער װײַטער דורכקוק פֿאָרט זיך אױף דער סערװירער־סײַט
קלײַב אַלץ אױסselect-action
אַרײַנשרײַב אַװעקצוגײן־װירע פֿון אַ וועבזײַט. דו װילסט ניט האָבן דעם װײַטער־פּאַס צו robots.txt — מיר װעלן עס אױסצושטעלן פֿון דער הײסט
מיר אַרײַנשטעלן פֿון אונדזער סערװירער
אונדזער סערװירער װעט פֿרעגן robots.txt און װעלכע סײטמאַפּ.קסל, אַזוי דער דורכקוק איז ניט פֿאַרבינדן מיט אייער בלעטערער אָדער אייער אייגענעם קײן
לייענען די דירעקטיװן און סאָרטמאַפּס
איבערזעצן די פֿאַרקערטע ניצער־אַגענט גרופּעס, ניט צושרײַבן כּללים און דער רשימה פֿון דערקלערט סײַטמאַפּס, מיט אַ URL־פֿאָרעם פֿון װײַל
קלײַב אַלץ אױסselect-action
קלײַב אַלץ אױסQuery-string sitemap URLs or blocked-but-indexed conflicts before a search engine degrades the duplicates
װאָס דער טעסטער װײַזט
די זעלבע װירד־רײלן װאָס מיר לײגן אינערלעכערליכע איידער מיר װײַזן אײן בלעטער.
קלײַב אַלץ אױס
װײַז װיפֿל װײַזט אױס די װײַזונג
סעלעקציע
קלײַב אַלץ אױסrobots.txt, אַרײַנשטעלן װידער און דערקלערן זײַן צײכן און URL װיפֿל
שריפֿטצײכן־פֿאַרבײדיקונג
פֿלאַגערן פֿראַגע־װירע סײַטמאַפּע URLס װאָס װײַזן אױס די דופּליקאַציע־װײַז און װײַזן אױס די דופּליקאַציע־אינפֿאָרמאַציע
װײַז פֿאָרױסװײַז
פֿײַגט אױס סײַטמאַפּס װאָס זײַנען געװען דערקלערט אין robots.txt װאָס זײַנען שױן, איבערגעפֿירט, אָדער װײַזן ניט־XML — שװערע קראָל־קילערס
פֿראַגעס
קלײַב אַלץ אױסundo-type
דאָס טעסטער לויפט גאַנץ סערווער-סייד - איר שיקן אַ URL, אונדזער צוריקענד גיט און פּאַרסיז robots.txt און די דעקלאַרירטע סייטמאַפּס, דעמאָלט רי-רענדערז דעם בלעטערער מיט די רעזולטאַטן. אַ פּראָגראַממאַטיש REST API פֿאַר CI/CD און באַנד אַסיסטאַנט איז בנימצא אויף די באַצאָלט אַטאַטשט פּלאַנס. װײַז פּלאָמבירן →