AI 검색에 관심을 갖다 보면 크롤러 이름이 여러 개 나와 헷갈리기 쉽습니다. 특히 ‘검색에 발견되고 싶지만 콘텐츠의 모델 학습 사용은 별도로 관리하고 싶다’는 병원이라면 크롤러의 역할을 구분해야 합니다. 단순히 모든 AI 관련 접근을 한꺼번에 막거나 허용하는 방식은 의도와 다를 수 있습니다.
검색 크롤러와 학습 크롤러의 차이
OpenAI는 공식 크롤러 설명에서 OAI-SearchBot과 GPTBot의 설정이 독립적이라고 안내합니다. 검색에 사용되는 크롤러를 허용하면서 모델 학습과 관련된 GPTBot은 차단하도록 선택할 수 있다는 설명입니다. 이 설정은 OpenAI가 안내하는 각 크롤러에 관한 것이며, 다른 회사의 크롤러나 모든 데이터 수집 경로에 자동으로 적용된다는 뜻은 아닙니다.
병원에서는 먼저 공개할 정보와 비공개로 유지해야 할 정보를 나눠야 합니다. 주소, 실제 진료시간, 일반적인 진료 안내처럼 공개를 전제로 만든 페이지와, 예약 내역·환자 기록·관리자 화면은 성격이 다릅니다. robots.txt는 크롤링 안내일 뿐 접근 제어 장치가 아니므로 민감한 데이터는 로그인과 적절한 접근 통제로 보호해야 합니다.
사이트 접근 설정 확인하기
그다음 사이트 운영자에게 robots.txt, 서버와 보안 방화벽 설정, 페이지별 색인 제어를 함께 점검하도록 요청하세요. 중요한 것은 서비스의 정책과 병원의 개인정보 처리 방침을 함께 검토하는 일입니다. 설정을 바꿨더라도 반영 시점과 검색 포함 여부는 달라질 수 있습니다.
AI 검색에 보이기 위한 작업과 학습 이용에 관한 선택은 서로 다른 의사결정입니다. 두 정책을 분명히 나누고, 공개 범위와 보안은 별도 절차로 점검하는 것이 출발점입니다.
운영 계획서에는 크롤러별 목적과 병원의 선택을 따로 적어 두세요. 검색을 위한 접근 여부, 학습 관련 크롤러의 접근 여부, 실제로 적용한 날짜와 확인 담당자를 구분해 두면 설정이 바뀌었을 때 의도를 다시 확인하기 쉽습니다. 크롤러 정책과 서비스 기능은 바뀔 수 있으므로 공식 문서를 다시 확인한 뒤 담당자가 조정해야 합니다.
설정 확인과 보안 점검의 순서도 다릅니다. 외부에 공개해도 되는 페이지는 검색 접근을 검토하되, 예약자 목록이나 상담 기록은 서버에서 권한이 없는 사람에게 제공되지 않도록 보호합니다. robots.txt에 주소를 적는 것만으로 비밀 정보가 숨겨지는 것은 아닙니다. 로그나 테스트 화면을 공유할 때도 환자 정보가 드러나지 않도록 확인하세요. 외주업체가 설정을 관리한다면 변경 사항을 인수인계 문서에 남겨 병원에서도 확인할 수 있게 합니다.
출처: OpenAI, 「Overview of OpenAI Crawlers」, https://developers.openai.com/api/docs/bots