robots.txt & 사이트맵 테스터
Google은 서버에서 해당 사이트의 robots.txt 및 sitemap.xml을 가져와 크롤 지시어와 선언된 사이트맵을 표시하고 중복 콘텐츠 순위 하락을 유발하는 쿼리 문자열 사이트맵 URL을 표시합니다.
robots.txt와 sitemap.xml을 테스트하는 방법
네 단계, 등록 없이 전체 검사 서버 측에서 실행됩니다.
사이트 URL 붙여넣기
사이트의 홈페이지 URL을 입력합니다. robots.txt의 전체 경로는 필요하지 않습니다. Google은 호스트에서 이 경로를 파생합니다.
서버에서 검색합니다
우리의 서버는 robots.txt 및 모든 선언 sitemap.xml을 요청, 그래서 테스트는 브라우저 또는 자신의 캐시에 의해 차단되지 않습니다.
지침 및 사이트맵 읽기
분석된 사용자 에이전트 그룹, 허용하지 않는 규칙 및 선언된 사이트맵 목록을 검토하고 각각의 URL 샘플을 제공합니다.
플래그가 붙은 것을 수정
검색엔진이 중복된 페이지를 하향시키기 전에 쿼리 문자열 사이트맵 URL 또는 차단되지만 인덱싱된 충돌을 해결하세요.
이 테스터가 검사하는 것
단일 페이지를 게시하기 전에 내부에서 실행하는 동일한 보호 레일.
크롤 지시어
각 사용자 에이전트 그룹과 해당 허용/거부 규칙을 분석하여 차단된 항목을 정확히 볼 수 있습니다.
선언된 사이트맵
robots.txt에 참조된 모든 사이트맵을 나열하고 각 사이트맵을 가져와 유형과 URL 수를 보고합니다.
쿼리 문자열 팽창
중복 페이지를 심고 중복 콘텐츠 하향을 트리거하는 쿼리 문자열 사이트맵 URL을 플래그합니다.
건강 상태 가져오기
오류, 리디렉션 또는 비 XML(무성 크롤 킬러)을 반환하는 robots.txt에 선언된 사이트맵을 캡처합니다.
자주 묻는 질문
파이프라인에서 실행
이 테스터는 완전히 서버 측에서 실행됩니다. URL을 제출하면 백엔드가 robots.txt와 선언된 사이트맵을 가져와 파싱한 다음 결과를 이 페이지에 다시 렌더링합니다. CI/CD 및 대량 감사를 위한 프로그래밍 REST API는 유료 관리형 플랜에서 사용할 수 있습니다. 계획 보기 →