網站該開放哪些 AI 爬蟲？

先按用途分類，再決定存取方式

crawler 可以先理解成「會自動讀取網站內容的程式」。傳統搜尋 bot 通常抓取頁面、建立索引，再把讀者帶回網站；AI crawler 的用途則可能在搜尋曝光、即時取用與模型訓練之間分岔。

搜尋索引型 crawler 的交換關係通常是曝光：網站提供可索引內容，期待獲得可辨識的回流。agent 型 crawler 則是替終端使用者即時讀資料的 AI 助手，可能查詢規格、價格或 FAQ；此時網站要管理的是讀取頻率、權限與操作邊界。訓練或資料集型 crawler 會把內容用於模型或資料產品，未必帶回讀者，因此更接近授權問題。至於內部或合作夥伴 bot，重點是能否確認負責人、流量範圍與變更程序。

BMC 之前談過，網站若要讓 agent 正確使用服務，需要準備機器可讀的入口與驗收門檻。〈網站需要給 AI 用的入口嗎？〉處理的是入口如何被機器理解；這篇接著處理進門後可以做什麼。

先保護高價值路徑

公開閱讀不等於允許機器無限制大量取用。小型網站不必一開始就寫完整規章，可以先列出會員、課程、定價、原創研究，以及站內搜尋、篩選和 API-like routes 等高價值路徑。API-like routes 指的是外觀看似網頁，實際上卻能被程式反覆查詢、取得結構化結果的入口。

接著，把政策落到適合的執行層。robots.txt 用來表達一般抓取偏好，但不能當成強制存取控制；WAF 與 bot management 可依流量特徵觀察、限速或封鎖。若 agent 需要大量查詢價格、庫存、研究資料或搜尋結果，應改走 API 與 rate limit，讓系統能辨識使用者、限制頻率並留下紀錄。訓練資料集、付費內容及超出既有合作範圍的使用，則應由合約與授權處理，而不是只靠技術規則默認同意。

第一版政策只要能回答三件事：每類用途的預設決定、高價值路徑的額外限制，以及誰負責在 30 天後檢討。檢討時至少查看 AI crawler 請求量、可辨識回流、高價值路徑存取量與錯誤或成本變化。當爬取頻率高於一般搜尋 bot 的 2 倍，或連續 30 天 AI referral 低於內容頁總訪問的 1%，就不要沿用原本的允許設定，應重新評估限流、授權或封鎖。

如果網站也在處理外部送入的 AI 內容，可以搭配〈想少看低品質 AI 內容，整理好你的資訊來源〉：一份政策管理網站接收什麼，另一份政策管理網站內容如何被機器取用。

今天可以先建立一份「AI crawler access policy v0.1」，把四列用途、預設決定、高價值路徑、執行工具、負責人與 30 天檢討日期填進去。robots.txt、WAF、bot management、API、rate limit 與合約授權不是六套互不相干的答案，而是同一份用途政策在不同層級的執行方式。

用日常來理解

這就像管理一間有閱覽區、服務櫃台與資料庫的圖書館。來查目錄並介紹讀者前來的人，可以依規則進入；替某位讀者即時大量調閱資料的人，需要限制速度與可碰觸的區域；想複製整批館藏建立自己資料庫的人，則應先談授權。門口看到的雖然都是訪客，真正決定待遇的是用途，而不是他們都穿著「AI」外套。

1. 三個機器人來到小型內容檔案庫：藍色機器人拿著放大鏡，白色機器人帶著單件物品，綠色機器人拉著大型空推車。
2. 藍色機器人查看公開目錄，白色機器人把一件物品交給一名讀者，綠色機器人則開始把大量書堆搬上推車。
3. 女子開放搜尋機器人的通道，讓單次請求的機器人在紅色計量閘門前等候，並用紅繩攔住大量收集內容的推車。
4. 搜尋機器人繼續留在公開區，單次請求的機器人停在計量閘門前，大量收集內容的推車則被擋在紅繩後，女子拿著夾板檢視安排。