很多團隊把 AI 接上公司資料後,最期待的是:業務、客服或產品同事可以直接問營收、客戶與使用量,不必每次排隊請資料團隊寫查詢。

但回答速度變快,不代表數字就能直接拿去做決策。AI 可能選到舊表、套用另一個部門的指標算法,或在缺少條件時自行補出一個看似合理的答案。真正要先解決的卡點是:團隊能否為每類問題指定正式資料來源、統一算法,並留下可追查的查詢過程。

Anthropic 分享的內部案例把這個落差說得很具體。Claude 目前可自動處理約 95% 的內部商業分析查詢,整體準確率約 95%;但在分析流程與背景知識尚未整理好時,同一個 Claude 在內部評估中的正確率不超過 21%。Anthropic 將指標定義、資料來源與分析步驟整理成 AI 查詢前會先讀取的操作說明檔(稱為 skills)後,準確率才穩定提高到 95% 以上。

這不表示每家公司都要照抄 Anthropic 的資料平台。它提供的通用判斷是:開放 AI 自助查數字以前,先確認 AI 去哪裡查、依哪套算法查,以及誰要為高風險答案把關。

AI 為什麼會答得流暢卻算錯?

所謂自助分析,是讓非資料團隊的人自行查詢營運數字。例如銷售想看本月成交率,客服想找出增加最快的問題類型,產品負責人想比較新功能留存。AI 讓他們能用自然語言提問,省去製作每一張臨時報表的等待時間。

困難在於,公司資料通常沒有唯一且天然正確的入口。舊表與新表可能同時存在;不同團隊可能採用不同的「活躍使用者」算法;同一位客戶在 CRM(客戶關係管理系統)與帳單系統裡,也可能使用不同欄位。AI 若只在資料倉庫中尋找名稱最相近的表,很容易把測試資料、過期欄位或部門私用算法當成正式答案。

這類錯誤也不會因為多問幾次就自然消失。若你的團隊還在整理 AI 搜尋公司知識時的責任與成本,可以先讀AI 工具說能省錢,要看它實際取代哪筆成本;資料查詢同樣需要先指定可信來源與負責人。

開放自助查詢前,檢查四個條件

以下四項是同一個放行檢查。只要其中一項答不清楚,就先讓 AI 協助草擬查詢或補問條件,不要讓答案直接進入會議、簡報或對外承諾。

放行條件必須說清楚的內容未通過時怎麼做
正式資料來源每類常見問題指定哪張正式資料表、報表或語意層;語意層是集中管理公司指標定義的資料介面AI 若要在多張相似表中自行挑選,只能回報候選來源,不能回答正式數字
指標定義「活躍使用者」、「流失」、「成交」等詞採用哪個算法、時間範圍與排除條件不同負責人仍有不同算法時,先標示分歧並交由指標負責人決定
查詢過程AI 查了哪個來源、使用哪些條件、排除哪些資料,以及缺資料時如何說明無法顯示來源與條件的答案只能當草稿,不得作為決策依據
複查責任哪些答案需要人工抽查,以及由資料、指標或業務負責人中的哪一方確認涉及預算、績效、價格、裁員或客戶承諾時,保留人工確認

這張表要區分的是「找到一個數字」與「得到公司承認的答案」。若 AI 查詢還會造成大量模型用量或自動化成本,也可搭配AI 帳單失控,問題常在任務範圍太大、重試太多設定查詢額度與停止條件;成本護欄處理支出,這裡的四項條件則處理答案能否採信。

廣告

哪些問題仍要保留人工確認?

即使四項條件大致就緒,以下問題仍不適合讓 AI 自行定案:

  • 數字會影響預算、績效、裁員、價格或客戶承諾。
  • 指標剛改版,新舊算法仍在並行。
  • 查詢涉及個資、敏感客戶、合約條款或權限限制。
  • 問題缺少產品、地區、客群或時間範圍等必要條件。
  • AI 找不到指定的正式來源,只能取得相近資料。

這時 AI 仍可指出缺少的條件、草擬查詢或列出待確認項目,但最終數字要交給對應負責人確認。團隊不必先建立大型資料平台;可以從最常被問的一個營運問題開始,指定正式來源與算法,再要求每次回答附上查詢來源、時間範圍及排除條件。這是今天就能完成的最小一步。

當這套做法能穩定產生可追查的答案,再逐步增加自助查詢範圍。AI 的價值是縮短找資料與整理問題的時間;公司仍要自行決定哪個版本的數字可以用來做決策。

AI 整理卡

把放行檢查套到你的一個數字問題

將下面內容貼給 AI,只填入目前確定的資訊;不知道的欄位保留「待確認」。

我們想讓 AI 回答的公司數字問題:[問題]
這個答案會用在哪個決策:[用途]
預定採用的正式資料來源:[資料表、報表或系統;不知道就填待確認]
指標定義、計算期間與排除條件:[定義;不知道就填待確認]
最終確認負責人:[資料、指標或業務負責人;不知道就填待確認]
回答時必須附上的證據:[資料來源、查詢條件、排除條件與不確定性]

請先檢查以上資訊是否足夠。缺少正式來源、指標定義、期間、排除條件或負責人時,不要推測,也不要計算公司數字;請逐項提出需要補問的問題。

資訊整理完成後,請將這個問題判定為以下其中一類:
1. 可以開放自助查詢。
2. 只能進行有限測試,答案必須人工複查。
3. 尚未準備好,應維持人工查詢。

請說明判定依據、缺少的證據,以及今天可以完成的一個最小補強動作。不要代替負責人決定正式數字。

這張卡用來找出缺少的來源、定義與責任人,不取代底層資料及最終數字的人工確認。

用日常來理解

四格漫畫:同事向 AI 詢問公司數字,AI 先被多張相似資料表卡住,團隊固定正式來源與指標定義後,最後由 AI 附上來源路徑並交給人類複查。

  1. 同事想直接問 AI 一個公司營運數字,但四周有太多相似資料卡片。
  2. AI 找到多張看起來都相關的表,團隊先暫停,不讓它直接回答。
  3. 大家把正式資料來源、指標定義與複查點固定到同一張流程板上。
  4. AI 依照固定路徑整理答案,旁邊的人類審查員再確認來源與條件。
廣告

Share

分享這篇微課

如果這篇剛好解開一個工作卡點,可以分享給也在判斷 AI 怎麼用的人。

參考來源