跳到主要內容
2026-11-22 日報
研究與評測

全新基準 SimpleBench 上線:高中程度人類得分 83.7% 擊敗所有受測 LLM,最高分 Claude Fable 僅獲 81.9%

Hacker News單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

研究團隊推出針對大型語言模型的全新多選題基準「SimpleBench」,初步評測顯示具高中知識的非專業人類基準得分為 83.7%,勝過所有受測的前沿模型。在受測模型中,目前表現最高者為 Claude Fable,得分 81.9%(採 AVG@5 評估,除 o1 系列外參數設定為 temperature 0.7、top-p 0.95)。SimpleBench 包含超過 200 道題目,涵蓋時空推理、社交智慧以及語言對抗魯棒性(陷阱題)。團隊指出,人類基準來自 9 名受試者的小樣本,該結果顯示現行前沿 LLM 依賴的記憶知識與近似推論檢索,在回答特定基礎問題時仍存在盲區。
讀原始報導

社群討論

多數開發者批評 Astra 與 Sol 6.2 出現嚴重退步,不僅寫程式碼品質低落,還常在長任務完成度不到 25% 時擅自中斷,排行榜上 Sol 6.2 亦從前代的第 10 名重挫至第 30 名。然而,部分用戶質疑 Simple Bench 多為刁鑽的陷阱題,並反駁新模型在實際工作流、程式碼審查與動態基準測試(如 Kradle.ai)中速度更快且有顯著進步,足以匹敵 Opus 5.5。

這則事件的發展

  1. 2026-11-18OpenAI 發布 GPT-6.2 Astra 與 Sol:Astra API 降價 20%、多項代理與科學評測刷新紀錄
  2. 2026-11-18GitHub Copilot 上線 OpenAI GPT-6.2 Astra 與 Sol:主打代理編程,Sol 審查抓錯量達前代近兩倍
  3. 2026-11-10GPT-6.2 首測傳出,網友稱有望壓過 Opus 5.5
本期分類