跳到主要內容
2026-10-28 日報
研究與評測

Ai2 發布評測揭 LLM 評估科研創新性極不穩定:微調提示詞準確率落差逾 50 個百分點

HuggingFace Blog一手來源
核實資料不足

來源為發布方或研究資料;不代表所有主張已獲獨立核實。

本次未取得足夠原文證據

Ai2(艾倫人工智慧研究所)發布研究論文《Old Ideas, Novel Problems》與開源基準資料及程式碼,探討大型語言模型作為「新穎性評判者(novelty judges)」評估科學研究點子的可靠度。團隊實測了 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 與 Claude Opus 4.6 共六款模型,發現評判結果對評估設定極為敏感;在成對比較實驗中,僅修改提示詞中的少數文字,模型辨別較具創新性點子的準確率落差就超過 50 個百分點。此外,引入文獻檢索系統或增加推理預算均無法穩定改善評判品質,兩套專門打造的新穎性評估系統表現甚至劣於僅用簡單提示詞的 Claude Opus 4.6 基準。 該評測資料集透過自動化流程自 ICLR 2026 同儕評審內容中挖掘審稿人對創新的具體評價。其「Human-Only」場景包含 154 個取自前 10% 獲肯定創新論文的高新穎性點子,以及 145 個取自後 10% 被拒論文的低新穎性點子;「Human+Generated」場景則將前述 154 個高創新人類點子與無工具輔助之基礎 LLM 生成的 154 個點子配對。經專家獨立抽檢 30 組配對,確認人類點子均具較高新穎性而生成點子皆無創新。實驗顯示,即便同一對研究點子,在不同合理設定下 LLM 裁判也常得出相反結論,凸顯以 AI 自動裁定科研價值的做法仍面臨高度不穩定性。
讀原始報導
本期分類