robots.txt란? 검색 로봇에게 수집 범위를 알리는 파일

robots.txt는 홈페이지 주소 맨 앞(예: 도메인/robots.txt)에 두는 텍스트 파일로, 검색엔진과 AI 회사의 크롤러에게 어떤 경로를 수집해도 되는지 알리는 규칙입니다.

robots.txt, 쉽게 말하면

크롤러는 사이트를 수집하기 전에 robots.txt를 읽고, 크롤러 이름(User-agent)별로 허용(Allow)과 차단(Disallow) 경로를 확인합니다. 사이트맵 주소를 함께 적어 둘 수도 있습니다.

robots.txt는 수집을 막는 규칙이지 검색 결과에서 지우는 장치가 아닙니다. Google은 페이지가 검색에 나오지 않게 하려면 robots.txt가 아니라 noindex나 비밀번호 보호를 쓰라고 안내합니다.

흔한 오해와 사실

• 오해: robots.txt로 막으면 그 페이지는 검색 결과에서 사라진다. Google은 robots.txt가 웹페이지를 Google에 표시되지 않게 하는 메커니즘이 아니라고 설명합니다. 다른 곳에서 링크된 차단 주소는 내용 없이 검색 결과에 나올 수 있습니다.
• 오해: robots.txt는 보안 장치다. robots.txt는 누구나 열어 볼 수 있는 공개 파일이고, 규칙을 따를지는 크롤러에 달려 있습니다. 환자 정보나 관리자 화면은 로그인과 접근 권한으로 보호해야 합니다.

병원 홈페이지에서 볼 점

리뉴얼이나 업체 변경 뒤에 ‘전체 차단(Disallow: /)’ 같은 개발용 설정이 그대로 남아 검색에서 사라지는 일이 있습니다. 공개 당일 robots.txt를 직접 열어 확인하는 것이 가장 간단한 점검입니다.

AI 크롤러를 허용할지 차단할지도 robots.txt에서 정합니다. 학습용과 검색용 크롤러가 나뉘어 있는 경우가 많아, 병원의 방침을 정한 뒤 크롤러별로 적습니다.

우리 병원 홈페이지에서 확인하는 법

1. 주소창에 우리병원주소/robots.txt를 입력해 엽니다. 몇 줄짜리 글자만 보이는 화면이면 정상입니다.
2. User-agent: * 아래에 Disallow: /가 있고 따로 허용하는 줄이 없다면 모든 검색 로봇에게 사이트 전체를 막고 있다는 뜻일 수 있습니다. 바로 제작사에 확인합니다.
3. Disallow: /admin처럼 관리자 화면 경로만 막는 줄은 흔하고 문제가 아닙니다. 진료 페이지가 있는 경로가 막혀 있지 않은지만 봅니다.
4. Sitemap:으로 시작하는 줄이 있으면 그 주소가 실제로 열리는지 눌러 봅니다.
5. GPTBot, OAI-SearchBot, ClaudeBot 같은 AI 크롤러 이름이 있다면 병원이 정한 방침과 같은 설정인지 확인합니다.

스탠다드핀 무료 홈페이지 진단은 robots.txt를 읽어 Googlebot에 적용되는 규칙이 대표 주소를 막는지 자동으로 확인합니다. AI 크롤러별 설정과 네이버 검색로봇 규칙은 점수에 넣지 않으므로 위 순서로 직접 봅니다.

자주 묻는 질문

robots.txt 파일이 없어도 되나요?

막을 경로가 없다면 문제는 아닙니다. Google은 robots.txt가 없어 404 같은 오류가 나면 크롤링 제한이 없는 것으로 처리한다고 안내합니다. 다만 사이트맵 주소를 알리는 용도로 두는 경우가 많습니다.

고친 내용은 바로 반영되나요?

바로 반영되지 않을 수 있습니다. Google은 robots.txt 내용을 보통 최대 24시간 동안 캐시한다고 안내하므로, 수정 후 하루 정도 지나서 다시 확인합니다.

일부 페이지만 검색 결과에서 빼고 싶으면 robots.txt로 막나요?

검색 결과에서 빼려면 robots.txt보다 해당 페이지에 noindex를 다는 방법이 맞습니다. robots.txt로 막으면 검색 로봇이 페이지 안의 noindex 표시를 읽지 못해 주소가 검색 결과에 남을 수 있습니다.

네이버 검색로봇은 따로 적어야 하나요?

네이버 검색로봇의 이름은 Yeti이고, 이름을 따로 적지 않으면 User-agent: * 규칙을 따릅니다. 네이버만 다르게 다룰 이유가 없다면 따로 적지 않아도 됩니다.

더 읽을 글과 참고한 공식 안내

이어서 읽을 글

• 네이버에 병원 홈페이지가 안 나올 때 확인할 순서

검색 차단 설정까지 점검하는 일은 병원 SEO-GEO-AEO 서비스에서, 공개 뒤 운영을 함께 맡기는 방법은 병원마케팅 Basic부터 시작하는 운영에서 볼 수 있습니다.

함께 알아 두면 좋은 용어: AI 크롤러, 색인(인덱싱), llms.txt.

이 글에서 참고한 공식 안내입니다(확인일 2026년 10월 20일).

• robots.txt 소개 및 가이드 · Google 검색 센터
• robots.txt 설정하기 · 네이버 서치어드바이저
• noindex를 사용하여 검색 색인 생성 차단 · Google 검색 센터
• Google에서 robots.txt 사양을 해석하는 방법 · Google 크롤링 인프라