Anthropic 推出 AI 研究判斷基準 TASTE，最佳模型 Fable 5 僅獲 60% 且多數接近隨機猜測

據 iThome 報導，Anthropic 研究團隊公開 AI 安全研究評測基準 TASTE（The AI Safety Taste Evaluation），以研究提案比較來評估 AI 模型的研究判斷能力。 該基準納入 50 份 AI 安全研究提案，組成 92 組兩兩比較，並以有經驗研究者的判斷為基準，人類專家的一致率估計為 77%。 測試結果顯示模型表現出現明顯落差，表現最佳的 Fable 5 一致率僅 60%，而 Opus 5 與 GPT-5.6 Sol 等前沿模型在統計上仍難與隨機猜測明確區分。Anthropic 發現，模型在比較同一問題的不同提案時，常過度看重提案是否直接回答題目，即使評分規則已要求降低該因素權重，顯示 AI 尚難掌握問題重要性與方法可行性等實際研究的優先順序。 目前 TASTE 僅有 92 組比較，各模型成績存在約正負 10 個百分點的不確定範圍，尚不適合用於精確排名。