安全與監管
OpenAI、Google、微軟與 Anthropic 聯手推動 AI 抓取退出新標準,整合進 robots.txt 統一宣告訓練偏好
iThome 中國綜合 2 家報導單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
查證回合用盡,未形成有依據結論
Anthropic、OpenAI、Google 與微軟宣布將採用一項新標準,讓內容發布方能一次性向多家 AI 企業統一宣告拒絕自家網站內容用於 AI 模型訓練。該標準由 Anthropic 技術負責人 Kevin Kelley 向網際網路工程任務組(IETF)提出,將直接整合至網站現有的 robots.txt 檔案中。
目前網站必須針對各家 AI 業者的爬蟲分別設定獨立規則,新標準旨在簡化此流程。在各家落實時程方面,Anthropic 已率先採納,OpenAI 計劃在未來數月內上線,Google 與微軟預計於明年提供支援。此外,Meta 發言人 Andy Stone 亦表態支持建立通用訊號機制,但尚未提出明確的導入時間表。
讀原始報導背景
Robots Exclusion Protocol(通常以 robots.txt 檔案呈現)是自 1994 年發展至今的網路標準,網站透過該檔案指示網路爬蟲允許存取的範圍,運作上主要仰賴爬蟲自願遵守。負責受理本次新標準提案的網際網路工程任務組(IETF),則是專門制定 TCP/IP 等網際網路技術規範的國際標準組織。