Robots.txt 생성기 사용 방법: 완벽 가이드 (2026)

Robots.txt 생성기이란 무엇인가요?

robots.txt 생성기는 크롤러가 사이트 루트에서 요청하는 일반 텍스트 파일을 만듭니다. ToolsMinify의 무료 생성기는 모두 허용, 모두 차단, 관리 차단에서 시작해 User-agent, Allow, Disallow, 선택 사이트맵 URL을 복사 가능한 robots.txt로 바꿉니다. https://your-domain/robots.txt에 저장해 Googlebot 등이 가져올 수 있는 경로를 알립니다. 모두 브라우저에서 실행.

전체 허용, 전체 차단, admin 차단 프리셋으로 robots.txt 생성. Allow/Disallow 경로와 sitemap URL 추가 - 무료, 즉시, 비공개.

Robots.txt 생성기을(를) 사용하는 이유

• 모두 허용·모두 차단·관리 차단 프리셋으로 암기 없이 지시문 작성
• User-agent, Allow, Disallow 경로 편집 시 라이브 robots.txt
• 파일 끝 절대 URL 선택 Sitemap: 줄
• 경로는 trim, 중복 제거, 필요 시 선행 슬래시
• 완전 브라우저 - 초안은 기기 밖으로 나가지 않음

Robots.txt 생성기 사용 방법 - 단계별 안내

1. 단계 1: 프리셋 선택: 전체 허용, 전체 차단, admin 차단.
2. 단계 2: * 대신 특정 크롤러가 필요하면 User-agent를 편집합니다.
3. 단계 3: Disallow 및 Allow 경로를 추가·변경합니다(한 줄에 하나).
4. 단계 4: 선택적으로 sitemap URL을 붙여 넣습니다.
5. 단계 5: robots.txt 출력을 복사해 https://your-domain/robots.txt 에 저장합니다.

Robots.txt 생성기은(는) SEO 도구에 있습니다. 도구 페이지를 열고 기본 필드에 입력을 입력하면 결과가 즉시 업데이트됩니다. 복사 버튼을 사용하여 출력을 문서, 코드 편집기 또는 스프레드시트에 붙여넣으세요.

일반적인 사용 사례

공개 사이트 런치

모두 허용과 XML 사이트맵 URL로 공개 경로를 가져오고 한 파일에서 URL 발견.

스테이징을 색인 밖으로

스테이징 호스트에서 모두 차단(Disallow: /). 공개 웹에서 도달 가능하면 페이지에 noindex도.

CMS 관리 영역 숨기기

관리 차단으로 /admin/과 /wp-admin/ Disallow, 글과 상품 페이지는 크롤 가능.

이름 있는 크롤러 미세 조정

User-agent를 Googlebot으로, Allow와 Disallow 접두사 혼합, URL 발견용 Sitemap 줄 유지.

예시

• 공개 사이트, 전체 허용: 전체 허용 프리셋은 User-agent: * 와 Allow: / 를 출력합니다. sitemap URL을 추가하면 같은 파일에서 XML sitemap을 찾을 수 있습니다.
• 스테이징, 모든 크롤러 차단: 전체 차단 프리셋은 Disallow: / 를 출력해 Googlebot 등이 스테이징·비공개 호스트에 들어오지 않게 합니다. 호스트가 공개될 수 있으면 noindex와 함께 쓰세요.
• CMS admin 경로 차단: admin 차단 프리셋은 Disallow: /admin/ 와 Disallow: /wp-admin/ 를 쓰고 나머지 사이트는 크롤 가능하게 둡니다.
• 지정 크롤러와 사용자 경로: User-agent를 Googlebot, Disallow /tmp, Allow /public/, sitemap URL로 설정하면 혼합 그룹과 Sitemap: 줄이 생성됩니다.

전문가 팁

• 파일은 사이트 루트에 있어야 합니다. example.com/blog/robots.txt는 무시됩니다.
• robots.txt는 보안 제어가 아니고 noindex도 아닙니다. 결과에서 빼야 할 페이지는 noindex.
• 절대 https 사이트맵 URL을 쓰세요. 상대 경로는 잘못 읽히기 쉽습니다.
• Google은 Crawl-delay를 무시합니다. 생략하고 Googlebot을 늦추려면 Search Console.
• 배포 후 Google robots.txt 테스터로 라이브 파일 확인하고 핵심 URL 색인 요청.

자주 묻는 질문

robots.txt는 어디에 두나요?

사이트 루트에 저장: https://www.example.com/robots.txt. 크롤러는 그 경로만 가져옵니다. 하위 디렉터리 파일은 무시됩니다.

Allow와 Disallow의 차이는?

Disallow는 건너뛸 경로 접두사, Allow는 가져올 수 있는 접두사입니다. 상위 경로가 disallow일 때 유용합니다. 이 생성기에서 경로 목록이 비어 있으면 기본은 Allow: / (전체 사이트)입니다.

robots.txt로 Google에서 페이지를 숨기나요?

아니요. 크롤러에게 해당 URL 가져오기를 요청하지 말라고 할 뿐입니다. 다른 곳에서 링크되면 검색에 나올 수 있습니다. 결과에서 제외하려면 페이지에 noindex를 사용하세요.

Sitemap 줄을 추가해야 하나요?

XML sitemap이 있으면 예. Sitemap: 지시는 User-agent 그룹과 별개이며 Google, Bing 등이 URL을 찾는 데 도움이 됩니다. 절대 https URL을 사용하세요.

Crawl-delay가 포함되나요?

아니요. Google은 Crawl-delay를 무시합니다. Googlebot 속도 조절은 Search Console 크롤 설정을 사용하세요. 이 생성기는 User-agent, Allow, Disallow, Sitemap만 다룹니다.

파일이 기기 밖으로 나가나요?

아니요. Robots.txt 생성기는 브라우저에서만 동작하며, 경로와 sitemap URL은 업로드되거나 저장되지 않습니다.

필요할 수 있는 관련 도구

ToolsMinify에서 다른 seo 도구을(를) 살펴보세요. 관련 유틸리티는 Robots.txt 생성기 페이지에 연결되어 있어 사이트를 떠나지 않고도 워크플로를 완료할 수 있습니다.