AI crawler를 사이트에 들여보낼까? 이 표로 3분 만에 결정하기

이름보다 용도를 먼저 분류한다

크롤러는 웹사이트 콘텐츠를 자동으로 읽는 프로그램이다. 전통적인 검색 bot은 보통 페이지를 수집해 색인을 만들고 독자를 원래 사이트로 돌려보낸다. 반면 AI 크롤러는 검색 노출, 실시간 정보 조회, 모델 학습 등 서로 다른 목적으로 움직일 수 있다.

검색 색인형 크롤러와의 교환 가치는 대체로 노출이다. 사이트는 색인 가능한 콘텐츠를 제공하고, 그 대가로 식별 가능한 방문 유입을 기대한다. agent 실시간 조회형은 최종 사용자를 대신해 사양, 가격, FAQ 같은 정보를 확인하는 AI 도우미다. 이 경우에는 조회 빈도와 권한, 수행 가능한 작업의 경계를 관리해야 한다.

학습·데이터셋형 크롤러는 콘텐츠를 모델이나 데이터 상품에 활용하면서도 독자를 사이트로 보내지 않을 수 있다. 따라서 단순한 노출보다 라이선스 문제에 가깝다. 내부 bot이나 파트너 bot이라면 담당자와 트래픽 범위, 변경 절차를 확인할 수 있는지가 핵심이다.

BMC는 앞서 agent가 서비스를 올바르게 이용하려면 기계가 읽을 수 있는 진입점과 검증 기준이 필요하다고 설명했다. 〈웹사이트에 AI용 입구가 필요할까요? 먼저 이 표로 판단하세요〉가 기계가 입구를 이해하는 방법을 다뤘다면, 여기서는 입장한 뒤 무엇을 허용할지 정한다.

고가치 경로부터 보호한다

사람에게 공개된 페이지라고 해서 기계의 무제한 대량 수집까지 허용한 것은 아니다. 소규모 사이트라면 처음부터 완전한 규정을 만들 필요는 없다. 회원, 강의, 가격, 독자 연구처럼 중요한 콘텐츠와 사이트 내 검색, 필터, API-like routes 같은 고가치 경로부터 정리하면 된다. API-like routes는 겉으로는 웹페이지처럼 보이지만 프로그램이 반복적으로 조회해 구조화된 결과를 얻을 수 있는 진입점을 뜻한다.

그다음 정책을 알맞은 실행 계층에 연결한다. robots.txt는 일반적인 크롤링 선호를 알리는 수단이지만 강제적인 접근 통제로 사용할 수는 없다. WAF와 bot management는 트래픽 특성에 따라 접근을 관찰하고 속도를 제한하거나 차단할 수 있다.

agent가 가격, 재고, 연구 데이터 또는 검색 결과를 대량으로 조회해야 한다면 API와 rate limit을 사용해야 한다. 그래야 시스템이 사용자를 식별하고 요청 빈도를 제한하며 기록을 남길 수 있다. 학습 데이터셋, 유료 콘텐츠, 기존 협력 범위를 벗어난 이용은 기술 규칙만으로 묵시적으로 허용하지 말고 계약과 라이선스로 처리한다.

정책의 첫 버전은 세 가지에 답하면 충분하다. 용도별 기본 결정은 무엇인가? 고가치 경로에는 어떤 추가 제한을 적용할 것인가? 30일 뒤 누가 검토할 것인가? 검토할 때는 AI 크롤러 요청량, 식별 가능한 유입, 고가치 경로 접근량, 오류 및 비용의 변화를 최소한 확인한다. 크롤링 빈도가 일반 검색 bot의 2배를 넘거나, 연속 30일 동안 AI referral이 콘텐츠 페이지 전체 방문의 1% 미만이면 기존의 허용 결정을 그대로 유지하지 말고 속도 제한, 라이선스 또는 차단을 다시 검토한다.

사이트가 외부에서 들어오는 AI 콘텐츠도 처리하고 있다면 〈AI 콘텐츠 라벨은 시간을 아껴 주지 않는다. 정리해야 할 것은 정보 입구다〉를 함께 적용할 수 있다. 한 정책은 사이트가 무엇을 받아들일지 관리하고, 다른 정책은 사이트 콘텐츠를 기계가 어떻게 이용할지 관리한다.

오늘은 ‘AI crawler access policy v0.1’을 만들고 네 가지 용도, 기본 결정, 고가치 경로, 실행 도구, 담당자, 30일 뒤 검토 날짜를 채워 보자. robots.txt, WAF, bot management, API, rate limit, 계약과 라이선스는 서로 무관한 여섯 가지 답이 아니다. 하나의 용도별 접근 정책을 서로 다른 계층에서 실행하는 수단이다.

생활 4컷 만화

열람실과 안내 창구, 별도 자료 보관소를 함께 운영하는 도서관을 떠올리면 쉽다. 목록을 확인한 뒤 독자를 도서관으로 안내하는 방문자는 정해진 규칙에 따라 들여보낼 수 있다. 특정 이용자를 대신해 많은 자료를 실시간으로 꺼내 가는 방문자라면 이용 속도와 접근 구역을 제한해야 한다. 장서 전체를 복제해 자기 데이터베이스를 만들려는 방문자와는 먼저 라이선스 조건을 협의해야 한다. 문 앞에서는 모두 비슷한 ‘AI 방문자’로 보여도, 접근 정책을 가르는 기준은 이름표가 아니라 실제 목적이다.

1. 작은 콘텐츠 보관소에 돋보기를 든 파란 검색 로봇, 한 가지 자료를 운반하는 흰 로봇, 큰 빈 카트를 끄는 초록 로봇이 도착한다.
2. 파란 로봇은 공개 카탈로그를 살피고, 흰 로봇은 앉아 있는 독자에게 요청받은 자료 하나를 전달하며, 초록 로봇은 카트에 많은 자료를 싣기 시작한다.
3. 운영자는 검색 로봇용 열린 통로, 단일 요청 에이전트용 빨간 계량 게이트, 대량 수집 카트를 막는 빨간 줄을 설치한다.
4. 검색 로봇은 공개 구역에서 계속 움직이고, 에이전트는 계량 게이트 앞에서 기다리며, 대량 수집 카트는 줄 뒤에 멈춘 가운데 운영자는 클립보드로 결정을 검토한다.