AI 크롤러란? GPTBot·ClaudeBot을 허용할지 정하는 기준

AI 크롤러는 AI 회사가 모델 학습, AI 검색 결과, 사용자가 요청한 페이지 읽기 같은 목적으로 웹페이지를 가져가는 자동 프로그램으로, 회사와 목적마다 이름이 다릅니다.

AI 크롤러, 쉽게 말하면

예를 들어 OpenAI는 학습용 GPTBot, 검색용 OAI-SearchBot, 사용자 요청용 ChatGPT-User를 나누고, Anthropic은 ClaudeBot과 Claude-User 등을, Perplexity는 PerplexityBot 등을 공개합니다. Google의 Google-Extended는 별도 크롤러가 아니라, Gemini 학습과 그라운딩에 사이트 콘텐츠를 쓸지 정하는 robots.txt 토큰입니다.

허용과 차단은 robots.txt에서 크롤러 이름별로 정합니다. OpenAI는 각 설정이 서로 독립적이어서, 검색 결과에는 나오도록 허용하면서 학습 사용은 막을 수 있다고 설명합니다.

흔한 오해와 사실

• 오해: AI 크롤러를 모두 막으면 AI 답변에서 우리 병원 정보가 사라진다. AI는 홈페이지 말고도 플레이스, 블로그, 다른 공개 출처를 참고할 수 있습니다. 또 학습용과 검색용 크롤러가 나뉘어 있어, 무엇을 막았는지에 따라 결과가 다릅니다.
• 오해: Google-Extended를 막으면 구글 검색에서 빠진다. Google은 Google-Extended가 Google 검색 포함 여부에 영향을 주지 않고 순위 신호로도 쓰이지 않는다고 안내합니다.

병원 홈페이지에서 볼 점

병원은 먼저 방침을 정합니다. 환자가 AI 검색으로 병원 정보를 찾을 수 있기를 원한다면 검색용 크롤러는 허용하고, 학습 사용 여부는 따로 정할 수 있습니다. 어느 쪽이든 공개된 홈페이지에는 환자 개인정보가 없어야 하고, 비공개 정보는 로그인으로 보호합니다.

크롤러 목록과 이름은 바뀔 수 있으므로, robots.txt를 고칠 때는 각 회사의 공식 안내를 다시 확인합니다.

우리 병원 홈페이지에서 확인하는 법

1. 우리병원주소/robots.txt를 열고 Ctrl+F로 GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended 같은 이름을 찾습니다.
2. 이름이 있다면 바로 아래 줄이 Disallow: /(차단)인지 Allow: /(허용)인지 보고, 병원이 정한 방침과 같은지 표로 적습니다.
3. 이름이 없다면 User-agent: * 규칙이 그 크롤러에게도 적용됩니다. 여기서 사이트 전체를 막고 있지 않은지 봅니다.
4. robots.txt와 별개로 호스팅이나 보안 서비스(방화벽, CDN)에 AI 봇 차단 기능이 켜져 있으면 robots.txt와 다르게 동작할 수 있습니다. 제작사에 이런 설정이 있는지 물어봅니다.

스탠다드핀 무료 홈페이지 진단의 robots.txt 항목은 Googlebot 규칙만 확인하고, AI 크롤러를 허용하는지는 점수에 넣지 않습니다. 허용과 차단은 병원이 정할 방침이지 정답이 정해진 항목이 아니기 때문입니다.

스탠다드핀 홈페이지는 푸터에 최근 30일 동안 Cloudflare가 확인한 AI 봇이 페이지를 가져간 요청 수를 운영사별로 보여 주고, 이것이 AI 답변 인용이 아니라는 점을 함께 적습니다. 크롤러가 다녀간 것과 답변에 인용된 것은 다른 사실입니다.

자주 묻는 질문

우리 홈페이지에 AI 크롤러가 오는지 어떻게 알 수 있나요?

서버 접속 기록이나 Cloudflare 같은 서비스의 봇 통계에서 크롤러 이름으로 확인합니다. 이름은 다른 프로그램이 흉내 낼 수 있어서, 각 회사가 공개한 IP 목록이나 서비스의 확인된 봇 표시와 함께 봐야 정확합니다.

차단하면 이미 수집된 내용도 지워지나요?

robots.txt는 앞으로의 수집에 대한 규칙입니다. 이미 수집된 데이터를 어떻게 다루는지는 각 회사의 정책을 따르므로, robots.txt만으로 지울 수 있다고 보지 않습니다.

환자가 ChatGPT에 우리 홈페이지 링크를 붙여 넣으면 어떻게 되나요?

사용자의 요청으로 페이지를 읽는 ChatGPT-User 같은 에이전트가 가져갑니다. OpenAI는 사용자가 시작한 동작이라 robots.txt 규칙이 적용되지 않을 수 있다고 안내하고, 검색 노출 관리는 OAI-SearchBot으로 하라고 설명합니다.

방침은 무엇을 기준으로 정하나요?

환자가 AI 검색으로 병원 정보를 찾게 할지, 홈페이지 글이 모델 학습에 쓰여도 괜찮은지를 나눠 정합니다. 앞의 것은 검색용 크롤러, 뒤의 것은 학습용 크롤러 설정에 해당합니다.

더 읽을 글과 참고한 공식 안내

이어서 읽을 글

• AI 검색이 우리 병원을 잘못 설명한다면

AI 검색 대응과 크롤러 설정 점검은 병원 SEO-GEO-AEO 서비스에서, 콘텐츠 운영과 함께 맡기는 방법은 AI 검색까지 보는 병원마케팅에서 볼 수 있습니다.

함께 알아 두면 좋은 용어: robots.txt, llms.txt, GEO(생성형 검색 최적화).

이 글에서 참고한 공식 안내입니다(확인일 2026년 10월 20일).

• Overview of OpenAI Crawlers · OpenAI
• Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
• Perplexity Crawlers · Perplexity
• Google의 일반 크롤러(Google-Extended 포함) · Google
• 검색로봇 확인 방법 · 네이버 서치어드바이저