Robots.txt SEO 모범 사례 - 허용, 허용 안 함 및 사이트맵(2026)

robots.txt 파일은 크롤러에게 가져올 수 있는 URL 경로를 알려주는 호스트 루트에 있는 작은 텍스트 파일입니다. 이는 비밀번호도 아니고 NOINDEX 태그도 아니며 비밀을 숨기는 방법도 아닙니다. 올바르게 설정하면 Googlebot, Bingbot 등이 관심 있는 페이지에 크롤링 예산을 지출합니다. 잘못 생각하면 CSS를 차단하거나, 사이트맵을 숨기거나, 준비 사이트를 검색에 유출할 수 있습니다. 이 가이드에서는 2026년에도 여전히 중요한 규칙, Disallow와 NOINDEX의 차이점, 순위를 희생시키는 실수를 다룹니다. https://your-domain/robots.txt에 붙여넣을 수 있는 파일을 원할 경우 Robots.txt 생성기를 사용하세요. 이 생성기는 브라우저에서 실행되며 경로를 업로드하지 않습니다.

robots.txt가 무엇인지(그리고 아닌지)

robots.txt는 로봇 제외 프로토콜입니다. 크롤러가 해당 호스트에서 다른 URL을 요청하기 전에 조회하는 자발적인 규칙 집합입니다. 올바르게 행동하는 봇(Googlebot, Bingbot, 많은 SEO 크롤러)은 이를 존중합니다. 스크레이퍼와 일부 AI 가져오기 도구는 이를 무시할 수 있습니다. 파일을 보안 제어가 아닌 크롤링 힌트로 취급하십시오.

• 공개 텍스트 파일입니다. 누구나 https://your-host/robots.txt를 열고 귀하가 작성한 모든 Disallow를 읽을 수 있습니다.
• 호스트별입니다. www.example.com 및 example.com 둘 다 콘텐츠를 제공하는 경우 각각 자체 파일이 필요합니다.
• 사용자를 인증하지 않습니다. Disallow 라인은 브라우저, 스크레이퍼 또는 URL을 가진 사람을 중지하지 않습니다.
• Google 자체에서는 URL을 제거하지 않습니다. 이것이 바로 NOINDEX(및 Search Console의 제거)의 목적입니다.

검색 엔진은 사람이 보는 방식으로 페이지를 렌더링하기 위해 여전히 CSS, JavaScript 및 이미지를 가져와야 합니다. 이러한 자산을 차단하는 것은 Google이 레이아웃을 이해하는 방법을 파악하는 고전적인 방법입니다. 좋은 robots.txt는 지루합니다. 공개 사이트를 허용하고, 몇 가지 관리자 접두사를 차단하고, 사이트맵을 가리킵니다.

파일이 있어야 하는 위치

크롤러는 해당 호스트의 /robots.txt라는 하나의 경로만 요청합니다. 다른 곳에 있는 파일은 무시됩니다.

• 정답: https://www.example.com/robots.txt
• 무시됨: https://www.example.com/blog/robots.txt 또는 https://www.example.com/static/robots.txt
• www와 apex는 다른 호스트입니다. 둘 다 응답하는 경우 각각에는 파일이 필요합니다(또는 크롤러가 보기 전에 하나가 다른 것으로 리디렉션되어야 함).
• HTTP 200을 사용하여 텍스트/일반으로 제공하십시오. HTML 소프트 404, 로그인 월 또는 500은 누락되거나 손상된 파일처럼 보입니다.
• 색인을 생성하려는 정식 호스트의 사이트 루트에 유지하고 Search Console의 호스트와 일치하세요.

실제로 중요한 구문

robots.txt 파일은 규칙 그룹입니다. 각 그룹은 하나 이상의 User-agent 줄로 시작한 다음 해당 그룹에 대한 Allow 및 Disallow 줄로 시작됩니다. 사이트맵 줄은 그룹 외부에 있으며 이를 이해하는 모든 크롤러에 적용됩니다.

• User-agent: * - 더 구체적인 그룹이 없는 크롤러의 기본 그룹입니다.
• 사용자 에이전트: Googlebot - 명명된 그룹입니다. Google은 *와 Googlebot을 함께 사용하지 않고 가장 구체적인 일치 그룹을 사용합니다.
• 허용하지 않음: /admin/ - /admin/으로 시작하는 URL 경로를 건너뜁니다.
• 허용: / - 전체 사이트를 허용합니다. 비어 있는 Disallow는 같은 것을 말하는 오래된 방법입니다.
• 사이트맵: https://www.example.com/sitemap.xml - XML ​​사이트맵에 대한 절대 https URL입니다.
• 댓글은 #으로 시작합니다. 빈 줄은 그룹을 구분합니다. 경로는 대소문자를 구분합니다.

Google은 허용 및 허용하지 않는 경로에서 *(모든 시퀀스) 및 $(URL 끝)를 지원합니다. 빙이 가깝습니다. Google이 무시하는 지시문을 만들지 마세요. 크롤링 지연이 일반적인 예입니다. Google에서는 이를 사용하지 않습니다. Googlebot의 속도를 늦춰야 한다면 Search Console 크롤링 설정을 사용하세요.

허용 및 허용하지 않음

허용 안 함은 크롤러가 건너뛰어야 하는 경로 접두사를 나열합니다. 허용은 가져올 수 있는 접두사를 나열하며, 이는 상위 경로가 허용되지 않을 때 유용합니다. Google은 파일의 첫 번째 줄이 아닌 가장 긴 일치 경로를 선택합니다.

• Disallow: /는 이 호스트의 모든 항목을 건너뛰는 것을 의미합니다. 공개 사이트가 아닌 준비 단계에서 사용하세요.
• 허용: /(또는 Disallow 줄 없음)은 전체 호스트를 가져오는 것을 의미합니다.
• Disallow: /tmp + Allow: /tmp/public/을 사용하면 Googlebot이 /tmp의 나머지 부분을 건너뛰고 공개 폴더에 들어갈 수 있습니다.
• 더 구체적인 허용은 더 짧은 Disallow가 닫은 경로를 다시 열 수 있습니다.
• 후행 슬래시가 중요합니다. /admin과 /admin/은 서로 다른 접두사입니다. CMS가 실제로 제공하는 URL과 일치하세요.

robots.txt 대 noindex

이는 인덱싱을 저장(또는 파괴)하는 구별입니다. robots.txt와 noindex는 서로 다른 작업을 수행합니다. 이를 혼합하면 제목이나 스니펫 없이 URL이 검색에 갇히게 됩니다.

• robots.txt 허용하지 않음 - 이 URL을 가져오지 마세요. 다른 페이지가 링크되어 있는 경우 크롤러는 여전히 URL을 나열할 수 있습니다.
• noindex(메타 로봇 ​​또는 X-Robots-Tag) - 이 URL을 가져올 수 있지만 결과에는 표시되지 않습니다.
• URL을 허용하지 않으면 Google은 HTML을 다운로드하지 않기 때문에 해당 페이지에서 NOINDEX를 볼 수 없는 경우가 많습니다.
• 색인에서 공개 URL을 삭제하려면 크롤링을 허용하고 페이지에 NOINDEX를 추가하세요. 그런 다음 재크롤링을 기다립니다.
• 개인 호스트를 숨기려면 robots.txt에만 의존하지 마세요. HTTP 인증, IP 허용 목록을 사용하거나 공용 인터넷에서 차단하세요.

감사 페이지, 패싯 필터 URL 또는 내부 검색 결과 페이지에서는 일반적으로 Google이 태그를 볼 수 있도록 NOINDEX(및 크롤링)를 원합니다. 스테이징 호스트는 Disallow: /와 실제 액세스 제어를 원합니다. CMS 관리 영역에서는 크롤링 예산을 낭비하지 않도록 접두어를 허용하지 않고, 로그인 없이 해당 URL에 접근할 수 있는 경우 색인을 생성하지 않는 두 가지를 모두 사용할 수 있습니다.

공개 사이트에 대한 모범 사례

대부분의 브로셔 및 도구 사이트에는 짧고 지루한 파일이 필요합니다. 모두 허용에서 시작하여 사이트맵을 추가한 다음 크롤링 예산을 소모하지 않아야 하는 접두사만 허용하지 않습니다.

• 전체 공개 사이트를 허용합니다(사용자 에이전트: * 및 허용: /).
• XML 사이트맵의 절대 https URL이 포함된 Sitemap: 행을 하나 추가하세요.
• 선택적으로 /admin/ 또는 /wp-admin/과 같은 CMS 관리 경로를 허용하지 않습니다.
• Google이 페이지를 렌더링하는 데 필요한 CSS, JavaScript, 글꼴 또는 이미지 폴더를 허용하지 마세요.
• 해당 URL의 순위를 지정하려는 경우 로케일 접두사(/es/, /pt/, /fr/, /de/)를 허용하지 마십시오.
• Disallow 규칙의 미로가 아닌 Search Console 또는 표준 태그에서 매개변수 정리를 유지하세요.
• 배포할 때마다 라이브 파일을 다시 확인하세요. 남은 Disallow: / 스테이징은 일반적인 중단입니다.

준비, 미리보기 및 개인 호스트

호스트가 검색에 나타나지 않아야 하는 경우 Disallow: /가 robots.txt 작업의 절반입니다. 그것은 전체 일이 아닙니다. 링크, 사이트맵, Search Console 속성에는 여전히 URL이 표시될 수 있습니다.

• 공개 프로덕션 경로가 아닌 자체 호스트(staging.example.com)에 스테이징을 배치합니다.
• Disallow: / 해당 호스트에서 호스트에 전혀 접근할 수 있는 경우 모든 HTML 응답에 noindex를 제공합니다.
• HTTP 인증이나 VPN을 선호하세요. robots.txt는 프로토콜을 무시하는 크롤러를 중지하지 않습니다.
• 프로덕션 Search Console 속성에 준비 사이트맵을 제출하지 마세요.
• 프로덕션을 스테이징으로 복제하는 경우 프로덕션 robots.txt를 즉시 교체하세요. 여기서는 모두 허용 파일이 위험한 파일입니다.

Sitemap 라인

Sitemap: 지시어는 User-agent 그룹과 별개입니다. Google, Bing 등은 이를 검색 힌트로 사용합니다. Disallow를 재정의하지 않습니다. 사이트맵에 URL을 나열하고 이를 허용하지 않으면 혼합 신호를 보내는 것입니다.

• 절대 https URL을 사용하세요. 사이트맵: /sitemap.xml이 유효하지 않습니다.
• 두 개 이상의 사이트맵(색인과 하위 사이트맵 또는 로케일별 파일)을 나열할 수 있습니다.
• 가능하다면 사이트맵 호스트는 robots.txt 호스트와 일치해야 합니다. 교차 호스트 사이트맵에는 추가 Search Console 설정이 필요합니다.
• 색인 생성이 가능한 URL에 대한 사이트맵을 유지하세요. 감사 페이지, 장바구니 URL 및 스테이징 복제본은 여기에 속하지 않습니다.

와일드카드, 끝 앵커 및 주석

Google의 robots.txt 파서는 경로에 두 개의 추가 토큰을 지원합니다. 아껴서 사용하십시오. 긴 와일드카드 파일은 몇 가지 정확한 접두사보다 테스트하기가 더 어렵습니다.

• *는 모든 문자 시퀀스와 일치합니다. 허용하지 않음: /*.json$은 .json으로 끝나는 URL을 건너뜁니다.
• $는 URL의 끝과 일치합니다. 이것이 없으면 *.json은 .json.html과도 일치합니다.
• # 줄 끝까지 주석을 시작합니다. 댓글에 비밀, API 키 또는 내부 호스트 이름을 입력하지 마세요.
• 크롤러가 * 또는 $를 지원하지 않는 경우 해당 문자를 리터럴로 처리할 수 있습니다. 가능하면 간단한 접두사를 사용하세요.

실제 사례

CMS 관리 영역도 있는 공개 마케팅 사이트에서 이 파일을 제공할 수 있습니다. 생성기의 모든 허용 사전 설정과 사이트 맵 및 두 개의 Disallow 선은 동일한 모양을 생성합니다.

• 사용자 에이전트: *
• 허용하다: /
• 허용하지 않음: /admin/
• 허용하지 않음: /wp-admin/
• 사이트맵: https://www.example.com/sitemap.xml

해당 파일은 모든 크롤러에게 공개 사이트를 가져오고 두 개의 관리 접두어를 건너뛰고 XML 사이트맵을 보도록 지시합니다. 관리자 URL은 색인화되지 않습니다(로그인하면 이미 숨겨져 있어야 함). /_next/ 또는 /images/를 차단하지 않습니다. 붙여넣은 후 브라우저에서 라이브 /robots.txt URL을 열고 바이트가 복사한 것과 일치하는지 확인하세요.

일반적인 실수

• 파일을 하위 디렉터리에 넣습니다. 크롤러는 /robots.txt만 가져옵니다.
• Google이 페이지를 렌더링할 수 없도록 CSS, JavaScript 또는 글꼴 경로를 허용하지 않습니다.
• Disallow를 사용하여 색인에서 제거하려는 페이지를 '숨깁니다'. NOINDEX를 사용하고 크롤링을 허용합니다.
• 허용하지 않음: / 스테이징 복제 후 프로덕션 중입니다.
• 상대 Sitemap: 행. 절대 https URL이어야 합니다.
• og:image 경로를 차단합니다. 소셜 크롤러는 여전히 이미지를 가져와야 합니다. 오픈 그래프 태그 전체 가이드를 참조하세요.
• 대소문자 불일치(/Admin 대 /admin/) 경로는 대소문자를 구분합니다.
• Google이 무시하는 크롤링 지연 줄은 속도 제어에 대한 잘못된 인식을 제공합니다.
• 댓글에 비밀을 적어주세요. 파일은 공개되어 있습니다.
• 모든 봇이 파일을 존중한다고 가정합니다. 일부 스크레이퍼는 이를 무시합니다. 이는 robots.txt 문제가 아니라 액세스 제어 문제입니다.

자주 묻는 질문

robots.txt는 Google에서 페이지를 숨기나요?

아니요. Googlebot에게 해당 URL을 가져오지 말라고 요청합니다. 다른 페이지가 차단된 URL로 연결되는 경우 Google은 스니펫이 거의 또는 전혀 없이 이를 나열할 수 있습니다. 결과에서 URL을 제외하려면 크롤링을 허용하고 NOINDEX를 추가하세요.

robots.txt를 어디에 넣나요?

호스트의 사이트 루트: https://www.example.com/robots.txt. 정확한 경로는 크롤러가 요청하는 유일한 경로입니다. 폴더에 있는 파일은 무시됩니다.

모든 사이트에서 모든 크롤러를 허용해야 합니까?

순위를 지정하려는 공개 사이트는 일반적으로 User-agent: * 및 Allow: /로 시작합니다. 준비, 미리보기 및 개인 호스트는 Disallow: /를 허용하고 실제 액세스 제어를 추가해야 합니다. 명명된 그룹(Googlebot, Bingbot)은 예외용이며 일상적인 파일용은 아닙니다.

Sitemap 행이 필요합니까?

예, XML 사이트맵이 있으면 가능합니다. 이는 순위 전환이 아닌 검색 힌트이며 Disallow를 재정의하지 않습니다. 절대 https URL을 사용하세요. Search Console에 동일한 사이트맵을 제출할 수도 있습니다.

크롤링 지연이 여전히 유용합니까?

구글에게는 아닙니다. Google은 크롤링 지연을 무시합니다. Googlebot이 너무 공격적이라면 Search Console의 크롤링 설정을 사용하세요. 다른 봇은 크롤링 지연을 준수할 수 있지만 이 가이드(및 생성기)는 User-agent, Allow, Disallow 및 Sitemap을 고수합니다.

파일을 어떻게 테스트하나요?

라이브 /robots.txt URL을 열고 읽어보세요. 그런 다음 몇 가지 허용 및 허용되지 않는 URL에 대해 Search Console에서 URL 검사를 사용하세요. 빌더에 대한 클릭별 연습은 Robots.txt 생성기 사용 방법을 참조하세요.

브라우저에서 파일을 빌드하세요.

모두 허용, 모두 차단 또는 관리자 차단에서 시작한 다음 라이브 출력을 복사합니다. 아무것도 업로드되지 않았습니다:

• Robots.txt 생성기 - 사전 설정, 허용/허용 안 함 경로 및 선택적 사이트맵 URL이 있습니다.
• Robots.txt 생성기를 사용하는 방법 - 동일한 도구에 대한 단계별 가이드.
• 오픈 그래프 태그 생성기 - 소셜 크롤러가 가져오는 것이 허용되어야 하는 공유 카드입니다.
• 슬러그 생성기 - 크롤링하려는 페이지에 대한 URL 슬러그를 정리하세요.
• 모든 SEO 도구 - 전체 카테고리 색인.