robots.txt 및 사이트맵 검사기란?
robots.txt 및 사이트맵 검사기는 웹마스터와 개발자가 robots.txt 및 sitemap.xml 파일의 형식이 올바른지 확인하고 검색 엔진 표준을 따르는 데 도움이 되는 이중 목적의 SEO 도구입니다. robots.txt 유효성 검사기는 User-agent, Allow, Disallow, Sitemap 및 Crawl-delay와 같은 명령을 구문 분석하고 구문 오류 및 일반적인 실수를 확인하며 특정 크롤러에 대해 특정 URL이 허용되거나 차단되는지 여부를 테스트할 수 있게 해줍니다. 사이트맵 XML 유효성 검사기는 XML 구조를 확인하고, urlset, url, loc 같은 필수 태그를 확인하고, lastmod,changefreq, 우선순위 같은 선택적 메타데이터의 유효성을 검사하고, 모든 형식 문제를 보고합니다. 두 파일 모두 검색 엔진이 웹 사이트를 크롤링하고 색인화하는 방법을 제어하는 데 중요합니다.
robots.txt 및 사이트맵 검사기를 사용하는 방법
- 1유효성을 검사하려는 파일에 따라 'robots.txt Validator' 또는 'Sitemap XML Validator' 탭을 선택합니다.
- 2robots.txt의 경우: robots.txt 콘텐츠를 텍스트 영역에 붙여넣습니다. 이 도구는 지시문을 즉시 구문 분석하고 검증 결과(오류, 경고)를 표시하며 구조화된 테이블에 구문 분석된 규칙을 표시합니다.
- 3'Test URL Access' 섹션을 사용하여 URL 경로를 입력하고 사용자 에이전트를 사용하여 robots.txt 규칙에 따라 특정 URL이 허용되거나 차단되는지 확인하세요.
- 4사이트맵 XML의 경우: sitemap.xml 콘텐츠를 텍스트 영역에 붙여넣습니다. 이 도구는 XML 구조의 유효성을 검사하고, 필수 및 선택적 태그를 확인하고, URL 형식과 날짜 형식의 유효성을 검사하고, 구문 분석된 모든 항목을 표시합니다.
- 5빨간색(오류), 노란색(경고) 또는 파란색(정보) 표시기로 강조 표시된 유효성 검사 문제를 검토하고 실제 파일에서 수정하세요.
주요 활용 사례
배포 전 SEO 확인
검색 엔진이 오류 없이 사이트를 올바르게 크롤링하고 색인을 생성할 수 있도록 프로덕션 환경에 배포하기 전에 robots.txt 및 sitemap.xml를 검증하세요.
크롤링 문제 디버깅
검색 엔진이 특정 페이지의 색인을 생성하지 않는 경우 URL 테스터를 사용하여 robots.txt 규칙이 실수로 중요한 콘텐츠를 차단하고 있는지 확인하세요.
사이트맵 규정 준수
Google Search Console에 제출하기 전에 sitemap.xml가 유효한 URL, 올바른 날짜 형식 및 적절한 우선순위 값을 포함한 Sitemaps 프로토콜 사양을 따르는지 확인하세요.
마이그레이션 검증
사이트를 마이그레이션하거나 재설계한 후 업데이트된 robots.txt 규칙과 사이트맵 항목이 새 URL 구조를 올바르게 반영하는지 확인하세요.
자주 묻는 질문
robots.txt 유효성 검사에서는 어떤 지시어가 지원되나요?
유효성 검사기는 User-agent, Allow, Disallow, Sitemap, Crawl-delay 및 Host 지시문을 확인합니다. 콜론 누락, 빈 값, '/'으로 시작하지 않는 경로, 사용자 에이전트 선언 앞에 나타나는 규칙에 대한 오류를 보고합니다.
URL 테스트 기능은 어떻게 작동하나요?
URL 경로(예: /admin/settings) 및 사용자 에이전트(예: Googlebot 또는 *)를 입력하세요. 이 도구는 검색 엔진 크롤러와 마찬가지로 가장 긴 접두사 일치를 사용하여 구문 분석된 Allow 및 Disallow 규칙과 경로를 일치시킵니다.
어떤 사이트맵 태그가 확인되나요?
이 도구는 필수 urlset 루트 요소, loc 태그가 있는 URL 항목을 확인하고 lastmod(W3C 날짜/시간 형식),changefreq(항상, 매시간, 매일, 매주, 매월, 매년, 절대) 및 우선순위(0.0~1.0)를 포함한 선택적 태그의 유효성을 검사합니다.
이 도구는 내 웹사이트의 fetch 파일을 삭제하나요?
아니요. 이 도구는 텍스트 영역에 붙여넣은 콘텐츠의 유효성만 검사합니다. HTTP 요청을 하거나 서버에 액세스하지 않습니다. 개인 정보 보호와 속도를 극대화하기 위해 모든 처리는 브라우저에서 로컬로 이루어집니다.
Sitemap 색인 파일을 지원합니까?
그렇습니다. 사이트맵 색인 파일을 붙여넣으면(urlset 대신 sitemapindex 사용) 유효성 검사기가 이를 자동으로 감지하고 참조된 사이트맵 위치를 구문 분석하여 항목 테이블에 표시합니다.