多くのチームが AI を社内データにつなぐとき、期待するのは「誰でも必要な数字をすぐ確認できる状態」である。営業は今月の成約率、サポートは増えている問い合わせ、プロダクト担当者は新機能の継続率を知りたい。毎回データ担当者にクエリ作成を頼む運用では、回答までに時間がかかる。

しかし、AI がクエリを書けることと、会社として正しい数字を答えられることは同じではない。古いテーブルや別部門向けの定義を選んでも、AI はもっともらしい文章を返せるからである。

Anthropic が公開した社内事例では、Claude が社内の分析問い合わせの約 95% を自動処理し、正確率も約 95% に達した。一方、分析手順や背景知識を与えない状態では、同じ社内評価の正確率は 21% 以下だったという。指標定義、参照すべきデータソース、分析手順を、AI が調査前に読む操作説明ファイル(Anthropic が skills と呼ぶ)へ整理したことで、正確率が 95% 以上で安定した。

この事例から持ち帰るべき判断は明確である。AI に会社の数字を聞く前に、どこを参照し、どの定義で計算し、誰が確認するかを決めておく。

AI が数字を間違える三つの経路

社内データは、一冊の整った辞書ではない。チームごとに「アクティブユーザー」の計算方法が違うこともあれば、古いテーブルと新しいテーブルが並存していることもある。同じ顧客でも、CRM(顧客関係管理システム)と請求システムで項目が異なる場合がある。

この状態で AI にデータウェアハウスを自由に検索させると、主に三つの問題が起きる。

  • 正式なテーブルではなく、古い表やテスト用の表を選ぶ。
  • 試用、有料、解約済みのアカウントを、同じ「顧客数」として集計する。
  • 参照元、除外条件、不確実な点を示さず、数字だけを回答する。

聞き直すだけでは、これらの問題は解消しない。AI が迷わず正式な参照先へ到達できるように、社内側で答えの出どころを整える必要がある。

この考え方を実際の業務フローへ広げるなら、AIツールが予算を削減すると言うなら、まず何の費用を置き換えるのかを見るが、導入目的と責任範囲の整理に役立つ。利用量や再試行による支出も含めて運用条件を決めたい場合は、AI モデルの請求が膨らむ場所は、たいてい範囲と再試行にあるも参考になる。

公開前に確認する四つの条件

AI に売上、利用量、顧客、プロダクトの数字を答えさせる前に、次の四条件を確認する。これが本記事の中心となる判断表である。

条件確認する内容満たさない場合
正式な参照先よくある質問ごとに、正式なテーブル、レポート、または指標定義を集中管理するセマンティックレイヤーが指定されているか似たテーブルが複数あり、AI が独自に選ぶ可能性があるなら、正式な数字の回答には使わない
指標定義「アクティブユーザー」「解約」「成約」「利用量」に、計算方法と除外条件があるか同じ言葉に複数の計算式があるなら、定義を統一するまで回答範囲を限定する
検索手順最初に見る場所、データ不足時の応答、追加質問が必要な条件を AI に示しているか指示が「質問に答える」だけなら、回答ではなく調査用の草案として扱う
確認責任高リスクな回答を誰が確認し、どの回答に参照元、検索条件、不確実性を添えるか決まっているか由来を追跡できる担当者がいないなら、会議や意思決定へ数字を持ち込まない

特に、予算、評価、人員削減、価格、顧客への約束に影響する数字は、人間の確認を残すべきである。指標が最近変更された場合、個人情報や契約条件が関わる場合、質問の対象期間や地域が曖昧な場合も同様だ。

そのような場面でも、AI は質問の整理、必要な指標の列挙、検索用クエリの草案作成には使える。ただし最終的な数字は、データ責任者、指標責任者、または業務責任者が確認する。

広告

小さく始めるなら、まず一つの質問を固定する

大規模なデータ基盤を先に作る必要はない。今日できる最小の一手は、頻繁に尋ねられる数字を一つ選び、その質問について次の情報を一枚にまとめることである。

  1. 正式に参照するテーブル、レポート、または業務システム
  2. 指標の計算方法、対象期間、除外条件
  3. AI が回答時に示す参照元と、不確実な場合の停止条件
  4. 最終確認を担当する人

この一枚で四条件を埋められなければ、その質問はまだセルフサービス分析に向いていない。AI には調査の補助だけを任せ、数字を意思決定へ使う前に人が確認する。

AI セルフサービス分析の利点は、データ担当者を待つ時間を減らせることである。同時に、もっともらしい誤答が速く広がる危険もある。正式な参照先、指標定義、検索手順、確認責任を固定してから利用範囲を広げれば、速さを得ながら説明できない数字を増やさずに済む。

AI 整理カード

一つの質問について、未確定の情報を洗い出す

次のプロンプトは、AI に最終判断を任せるものではない。実際の質問に必要な入力がそろっているかを確認するために使う。

社内で AI に答えさせたい数字の質問が一つある。次の情報を私に順番に尋ねてほしい。

- 実際に答えたい質問と、その数字を使う意思決定
- 正式に参照するテーブル、レポート、または業務システム
- 指標の計算方法、対象期間、除外条件
- AI がデータ不足時に回答を止める条件
- 最終確認を担当する人

不足している情報は推測せず、「要確認」と示してほしい。
最後に、準備済み/情報不足/人による確認が必要、の三つに分けて整理し、今日確認すべき一項目だけを提示してほしい。

出力は準備状況を整理するための草案である。実際の数字を利用する前に、データの参照先、権限、指標定義、責任者を人が確認する。

生活四コマ

同僚がAIに会社の数字を聞き、AIが似たデータ表の前で止まり、チームが正式ソースと指標定義を固定し、最後に人間が出どころ付きの答えを確認する4コマ漫画

  1. 同僚が AI に直接運用数字を聞こうとするが、周囲には似たデータカードが多すぎる。
  2. AI は関連して見える表をいくつも見つけ、チームは答えを出す前に一度止める。
  3. チームは正式ソース、指標定義、確認ポイントを一枚のフローボードに固定する。
  4. AI は固定された経路に沿って答えを整理し、人間の確認者がソースと条件を確認する。
広告

Share

このミニクラスを共有

このミニクラスが仕事の詰まりをほどく助けになったら、AI の使い方を考えている人にも共有してください。

参考資料