開發生態
Cloudflare 推出 Disallow AI Training 設定：允許網站保留搜尋索引並拒絕 AI 訓練，獲 Apple、Google 與微軟支持
Cloudflare Blog一手來源
尚未逐項核實
來源為發布方或研究資料；不代表所有主張已獲獨立核實。
Cloudflare 宣布推出「Disallow AI Training」設定，解決網站管理員過去面臨「允許 AI 訓練」或「失去搜尋引擎曝光」的兩難。該設定透過在 robots.txt 發布指令運作，Apple、Google 與 Microsoft 已承諾遵守此設定，被 Cloudflare 歸類為「負責任（Accountable）」的混合用途爬蟲，在拒絕訓練的同時仍可抓取搜尋索引。
啟用此設定後，Amazon、Anthropic、Meta 與 OpenAI 等純訓練爬蟲將被直接封鎖，且不會影響搜尋結果。此外，原有的「Block」與「Block on pages with ads」設定，現在也將適用於包含混合用途在內的所有訓練爬蟲。
Cloudflare 數據顯示，僅不到 1% 網站封鎖搜尋機器人，但有 17% 啟用機制封鎖 AI 訓練。官方預計於明年初推出針對「AI Summaries」的控制功能，讓網站能決定有多少內容可顯示於摘要中。
讀原始報導背景
Cloudflare 是一家提供內容傳遞網路（CDN）、雲端資安與 DDoS 防護等服務的科技公司，其服務主要作為網站與訪客之間的反向代理（reverse proxy）。過去網站管理者若想阻擋 AI 爬蟲抓取資料進行訓練，往往會因為搜尋引擎與 AI 訓練共用同一套爬蟲，而面臨同時失去搜尋曝光度的兩難。