robots.txt & 사이트맵 테스터
Google은 서버에서 해당 사이트의 robots.txt 및 sitemap.xml을 가져와 크롤 지시어와 선언된 사이트맵을 표시하고 중복 콘텐츠 순위 하락을 유발하는 쿼리 문자열 사이트맵 URL을 표시합니다.
robots.txt와 sitemap.xml을 테스트하는 방법
네 단계, 등록 없이 전체 검사 서버 측에서 실행됩니다.
사이트 URL 붙여넣기
사이트의 홈페이지 URL을 입력하세요. robots.txt의 전체 경로는 필요 없습니다. 호스트에서 도출합니다.
서버에서 검색합니다
우리의 서버는 robots.txt 및 모든 선언 sitemap.xml을 요청, 그래서 테스트는 브라우저 또는 자신의 캐시에 의해 차단되지 않습니다.
지침 및 사이트맵 읽기
분석된 사용자 에이전트 그룹, 허용하지 않는 규칙 및 선언된 사이트맵 목록을 검토하고 각각의 URL 샘플을 제공합니다.
플래그가 붙은 것을 수정
검색엔진이 중복된 페이지를 하향시키기 전에 쿼리 문자열 사이트맵 URL 또는 차단되지만 인덱싱된 충돌을 해결하세요.
이 테스터가 검사하는 것
단일 페이지를 게시하기 전에 내부에서 실행하는 동일한 보호 레일.
크롤 지시어
각 사용자 에이전트 그룹과 해당 허용/거부 규칙을 분석하여 차단된 항목을 정확히 볼 수 있습니다.
선언된 사이트맵
robots.txt에 참조된 모든 사이트맵을 나열하고 각 사이트맵을 가져와 유형과 URL 수를 보고합니다.
쿼리 문자열 팽창
중복 페이지를 심고 중복 콘텐츠 하향을 트리거하는 쿼리 문자열 사이트맵 URL을 플래그합니다.
건강 상태 가져오기
robots.txt에 선언된 사이트맵 중 오류가 나거나, 리디렉션되거나, XML이 아닌 것을 반환하는 것을 찾아냅니다. 이런 것들은 소리 없는 크롤링 킬러입니다.
자주 묻는 질문
파이프라인에서 실행
이 테스터는 전적으로 서버 측에서 실행됩니다. URL을 제출하면 백엔드가 robots.txt와 선언된 사이트맵을 가져와 분석하고, 결과와 함께 이 페이지를 다시 렌더링합니다. CI/CD와 대량 감사를 위한 프로그램형 REST API는 유료 매니지드 플랜에서 사용할 수 있습니다. 계획 보기 →
프로그래밍 방식으로 사용
모든 도구는 Pro 및 API 플랜에서 하나의 인증된 REST API로 사용할 수 있습니다. CI, CMS, 대시보드에 연결하세요.