跳到主要內容
2026-11-04 日報
研究與評測

史丹佛研究:50 項 LLM 常見結論有 44% 已失效,平均壽命僅 15.7 個月

The Decoder單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

史丹佛大學研究者 Owen Queen 與 James Zou 檢驗 50 項廣被引用的大型語言模型(LLM)結論,對象為 2024 年 7 月至 2026 年 9 月間、8 家開發商發布的 20 個模型,研究指出其中 44% 已失效。在 22 項可估算失效時間的結論中,平均壽命僅 15.7 個月。另有 34% 明顯減弱,16% 仍成立,6% 則變得更強。結論發表滿一年時已有 16% 失效,滿兩年時升至 39%。 研究發現,有關「模型做不到什麼」的結論失效最快。9 項推理相關結論中有 5 項已失效,且沒有任何一項維持或變強。其中包括數 strawberry 一詞中的字母、不熟悉進位制的算術、長文脈中段資訊遺失,以及使用者質疑時模型放棄原本正確答案等已知弱點。研究者推測,這類錯誤有明確的「正確答案」,反而給開發者一個可供訓練的清楚目標。 關於偏好與傾向的結論則較耐久。在 11 項維持或變強的結論中,有 3 項涉及模型當評審的行為,包括偏好自己的答案、對錄取與被拒論文的評分相近,以及容易被醫學摘要中的語言修飾影響。另有 3 項與諂媚及迎合使用者有關。此外,還包括偏左的政治傾向、對開放式問題給出近乎相同的答案,以及生成隨機數字時分布不均。 在引用文獻造假方面,研究者以 Walters 與 Wilder 2023 年的原始研究為案例。當時 GPT-3.5 的參考文獻有 55% 為虛構。研究團隊以相同提示詞測試新模型,據報導 GPT-6.1 Sol 的虛構比例為 0%,Claude Sonnet 5.5 為 1%,但同為 2026 年模型的 Qwen3.7-Flash 在同一測試中仍有 69% 為虛構。研究也提醒,不宜因此認定問題已解決。在需要結合兩個已知事實的「兩跳」問題上,Claude Sonnet 5.5 在兩個單題都答對的情況下,仍有約 10% 的回答出錯;原始論文對 ChatGPT 的數字為 43%。「反轉詛咒」與時間相關成對問題的矛盾回答也有所減弱,但仍可偵測到。 社會偏見方面,研究結果分歧。政治偏左的傾向仍然存在,性別刻板印象與內隱聯想偏見則有所減弱;而針對非裔美式英語使用者的偏見,在趨勢資料中甚至出現方向翻轉。 即使在同一批發布的模型之間,表現差距也很大。在 2026 年 7 月至 9 月發布的模型中,失效結論數從 DeepSeek V4 Pro 的 11 項到 GPT-6.1 Sol 的 30 項不等。研究認為,發布日期、開發商與模型大小都無法可靠預測結果走向。 據此,兩位研究者主張,關於 LLM 的實證結論應被描述為「特定模型在特定時點的觀察」,而非普遍真理。論文應標明模型、版本與日期,並公開提示詞與分析程式碼,以便日後在新模型上重新驗證。目前此研究僅見 The Decoder 報導,尚未見其他來源佐證。
讀原始報導

背景

LLM-as-a-Judge(由大型語言模型擔任評審)已成為自動化評估的主流做法,廣泛用於模型對齊、排行榜建立與品質控管。搜尋結果指出,這種做法的可擴展性與可信度可能受到「自我偏好偏誤」(Self-Preference Bias, SPB)的扭曲,SPB 是一種有方向性的評估偏差。

來源