많은 팀이 AI를 회사 데이터에 연결하며 이렇게 기대한다. “이제 영업이나 제품 담당자가 AI에게 바로 물어보면 데이터팀의 보고서를 기다리지 않아도 되겠네.” 실제로 영업은 이번 달 전환율을, 고객지원은 늘어난 문의 유형을, 제품 담당자는 새 기능의 유지율을 빠르게 확인하고 싶어 한다.

Anthropic이 공개한 내부 사례는 이 기대가 실현되려면 무엇이 먼저 필요한지 보여 준다. Anthropic에 따르면 Claude는 현재 내부 비즈니스 분석 문의의 약 95%를 자동으로 처리하며, 전체 정확도도 약 95%다. 그러나 분석 절차와 배경 지식이 준비되지 않았을 때는 같은 Claude의 내부 평가 정확도가 21%를 넘지 못했다. Anthropic은 지표 정의, 데이터 출처, 분석 절차를 AI가 조회 전에 읽는 운영 설명 파일로 정리했고, 이를 skills라고 부른다. 이 작업 뒤 정확도가 95% 이상으로 안정되었다고 설명한다.

여기서 가져올 판단은 Anthropic의 데이터 시스템을 그대로 복제하자는 것이 아니다. AI에게 회사 숫자를 묻기 전에 어디에서 찾고, 어떤 정의로 계산하며, 누가 확인할지를 먼저 고정해야 한다. 그렇지 않으면 AI는 비슷해 보이는 데이터 가운데 하나를 골라 매우 자연스러운 문장으로 잘못된 숫자를 전달할 수 있다.

AI가 답을 찾는 경로부터 정해야 하는 이유

회사 데이터는 하나의 깨끗한 사전처럼 정리되어 있지 않다. 팀마다 “활성 사용자”를 다르게 계산할 수 있고, 오래된 표와 새 표가 함께 남아 있을 수도 있다. CRM, 즉 고객관계관리 시스템과 청구 시스템이 같은 고객을 서로 다른 필드로 기록하는 경우도 있다.

이 상태에서 AI가 데이터 웨어하우스, 즉 여러 데이터 표를 모아 둔 저장소를 검색하면 관련 있어 보이는 자료는 쉽게 찾는다. 하지만 그것이 회사가 공식 답으로 쓰는 자료인지는 별개의 문제다. AI에게 “더 조심해서 답하라”고 지시하는 것만으로는 공식 표와 시험용 표, 이전 계산법과 현재 계산법을 구분할 수 없다.

따라서 셀프서비스 분석을 열기 전에 확인할 대상은 모델의 문장 능력이 아니라 답이 만들어지는 경로다. 사용자가 자연어로 질문하더라도 AI가 공식 출처와 계산 기준을 찾지 못하면 추측하지 않고 멈출 수 있어야 한다.

도입 목적과 책임 범위를 함께 정리하려면 AI 도구가 예산을 줄인다고 말할 때, 먼저 어떤 비용을 대체하는지 확인하세요를 참고할 수 있다. 조회 재시도와 사용 범위 확대가 모델 비용으로 이어질 수 있다면 AI 모델 청구서가 커지는 지점은 대개 범위와 재시도다의 중단 조건도 함께 점검한다.

셀프서비스로 열기 전 확인할 네 가지 조건

매출, 고객, 제품 사용량처럼 실제 의사결정에 쓰이는 숫자를 AI가 답하게 하려면 다음 네 조건을 먼저 점검한다.

조건팀이 확인할 내용충족되지 않았을 때의 처리
공식 출처자주 묻는 질문마다 사용할 데이터 표, 리포트 또는 회사 지표 정의를 관리하는 의미 계층이 하나로 지정되어 있는가비슷한 표가 여러 개라면 AI가 임의로 고르지 못하게 하고 공식 숫자 제공을 보류한다.
지표 정의“활성 사용자”, “이탈”, “전환”, “사용량”에 계산식과 제외 조건이 적혀 있는가같은 용어를 책임자마다 다르게 계산한다면 먼저 정의를 합의한다.
조회 절차AI가 먼저 볼 위치, 데이터가 없을 때의 응답, 질문이 모호할 때 다시 확인할 항목이 정해져 있는가출처를 찾지 못하거나 기간·제품·고객군이 불명확하면 답을 만들지 않고 추가 질문을 하게 한다.
검토 책임예산, 성과평가, 가격, 고객 약속 등에 영향을 주는 답을 누가 확인하며 어떤 출처와 조회 조건을 남길지 정했는가결과를 추적할 책임자가 없다면 의사결정용 숫자가 아닌 분석 초안으로만 취급한다.

이 표는 문서를 늘리기 위한 것이 아니다. 팀이 “관련 자료를 찾았다”와 “공식 기준에 맞는 결론을 얻었다”를 혼동하지 않도록 하는 장치다. 특히 개인정보, 계약 조건, 권한 제한이 관련되거나 지표 정의가 최근 바뀐 경우에는 사람의 확인을 남겨야 한다.

AI는 이런 질문에서도 쓸 수 있다. 필요한 지표를 정리하고, 빠진 기간이나 고객군을 되묻고, 조회문 초안을 만드는 역할은 맡길 수 있다. 다만 공식 출처를 찾지 못한 상태에서 비슷한 데이터로 최종 숫자를 대신 만들게 해서는 안 된다.

광고

작은 팀이 오늘 고정할 한 가지

대형 데이터 플랫폼이 없어도 시작할 수 있다. 오늘 가장 자주 묻는 숫자 질문 하나를 고른 뒤, 그 질문의 공식 출처와 계산 정의, 확인 책임자를 한곳에 기록한다. 예를 들어 “이번 달 신규 고객 수”라면 어느 시스템의 어느 리포트를 쓰는지, 체험 계정을 포함하는지, 최종 숫자를 누가 확인하는지까지 적는다.

그다음 AI에게 답과 함께 출처, 조회 기간, 제외 조건을 표시하게 한다. 이 정보를 제시하지 못한 결과는 회의나 보고서에 바로 넣지 않고 초안으로 취급한다. 한 질문에서 이 경로가 안정적으로 작동한 뒤 다른 질문으로 넓히면 된다.

AI 셀프서비스 분석의 장점은 더 많은 동료가 데이터팀을 기다리지 않고 필요한 정보를 확인할 수 있다는 데 있다. 그러나 공식 답의 출처와 계산 기준이 정해지지 않았다면 그 속도는 오류가 퍼지는 속도도 높인다. 먼저 한 질문의 답이 어디에서 나오고 누가 확인하는지 고정한 뒤 조회 범위를 넓혀야 한다.

AI 정리 카드

내 팀의 숫자 질문 하나에 적용하기

아래 지시문에 실제 질문과 현재 알고 있는 정보만 넣는다. 모르는 항목은 추측하지 말고 확인 필요로 표시한다.

우리 팀이 AI에게 맡기려는 숫자 질문: [질문]
현재 사용하는 데이터 표 또는 리포트: [출처 또는 확인 필요]
지표의 계산식과 제외 조건: [정의 또는 확인 필요]
답이 영향을 주는 업무 결정: [결정]
최종 결과를 확인할 담당자: [담당자 또는 확인 필요]

공식 출처, 지표 정의, 조회 기간, 제외 조건 가운데 빠진 정보가 있으면 답을 만들지 말고 먼저 질문해 달라.

정보를 확인한 뒤 다음 세 가지 중 하나로 판단해 달라.
1. 셀프서비스 조회 가능
2. 제한적으로 시험 가능하나 사람의 재검토 필요
3. 아직 준비되지 않아 사람의 조회 유지

판단 근거와 빠진 증거, 오늘 보완할 수 있는 가장 작은 한 가지를 제시해 달라. 답할 수 있다면 사용한 출처와 조건을 결과에 함께 표시하고, 담당자를 대신해 공식 숫자를 결정하지 말라.

생활 4컷 만화

동료가 AI에게 회사 숫자를 묻고, AI가 비슷한 데이터 표들 앞에서 멈춘 뒤, 팀이 공식 출처와 지표 정의를 고정하고, 마지막에 사람이 출처가 붙은 답을 확인하는 4컷 만화

  1. 동료가 AI에게 바로 운영 숫자를 묻고 싶어 하지만 주변에는 비슷한 데이터 카드가 너무 많다.
  2. AI가 관련 있어 보이는 표를 여러 개 찾자, 팀은 답변을 내기 전에 먼저 멈춘다.
  3. 팀은 공식 출처, 지표 정의, 검토 지점을 하나의 흐름판에 고정한다.
  4. AI는 고정된 경로에 따라 답을 정리하고, 사람 검토자가 출처와 조건을 다시 확인한다.
광고

Share

이 미니 클래스 공유

이 글이 업무 병목을 푸는 데 도움이 되었다면, AI를 어떻게 쓸지 고민하는 사람에게도 공유해 주세요.

참고 자료