SEO 도구/Robots.txt 생성기
Robots.txt 생성기
검색 엔진 크롤러를 위한 robots.txt 생성 및 커스터마이즈
규칙 1
한 줄에 하나씩
한 줄에 하나씩
추가 옵션
생성된 robots.txt
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
웹사이트 루트 디렉토리에 robots.txt로 저장하세요
Robots.txt 생성기 가이드
robots.txt로 검색 엔진 크롤링을 제어하는 방법
robots.txt란?
robots.txt 파일은 검색 엔진 크롤러가 사이트의 어떤 페이지나 섹션에 접근할 수 있는지 또는 없는지를 알려주는 표준입니다. 웹사이트 루트 디렉토리에 위치하며 검색 엔진이 사이트를 방문할 때 가장 먼저 확인하는 파일 중 하나입니다.
사용 방법
- 특정 user agent에 대한 규칙을 추가하세요 (모든 봇에는 * 사용)
- 크롤링을 허용하거나 차단할 경로를 지정하세요
- 더 나은 색인화를 위해 사이트맵 URL을 추가하세요
- 파일을 다운로드하여 웹사이트 루트 디렉토리에 배치하세요
SEO 모범 사례
- CSS나 JavaScript 파일을 차단하지 마세요 - 검색 엔진에 필요합니다
- 항상 XML 사이트맵 링크를 포함하세요
- Google Search Console에서 robots.txt를 테스트하세요
검색 엔진 지원
모든 주요 검색 엔진(Google, Bing, Yahoo, Yandex)이 robots.txt 지시를 준수합니다. 그러나 악성 봇은 이러한 규칙을 무시할 수 있으므로 보안 목적으로 robots.txt를 사용하지 마세요.