robots.txt 검증기
robots.txt 파일의 구문을 검증하고 URL이 크롤링 허용 또는 차단되는지 테스트합니다. SEO에 필수. 무료, 100% 브라우저에서 실행.
참고
robots.txt란?
robots.txt는 웹사이트 루트에 위치하는 파일로 검색 엔진 크롤러에게 크롤링 가능한 범위를 지시합니다. 올바른 설정으로 SEO 최적화에 기여합니다.
디렉티브
User-agent — 대상 크롤러 지정. Disallow — 크롤링 금지 경로. Allow — Disallow 내에서 특정 경로 허용. Sitemap — 사이트맵 URL. Crawl-delay — 크롤링 간격.
사용 사례
SEO — 크롤러 접근 제어 검증. 사이트 마이그레이션 — 새 robots.txt 사전 테스트. 디버그 — 인덱싱되지 않는 문제의 원인 조사.
개인정보
모든 검증은 브라우저에서 100% 실행됩니다. robots.txt 내용은 서버에 전송되지 않습니다.