研究與評測
全新基準 SimpleBench 上線:高中程度人類得分 83.7% 擊敗所有受測 LLM,最高分 Claude Fable 僅獲 81.9%
Hacker News單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
研究團隊推出針對大型語言模型的全新多選題基準「SimpleBench」,初步評測顯示具高中知識的非專業人類基準得分為 83.7%,勝過所有受測的前沿模型。在受測模型中,目前表現最高者為 Claude Fable,得分 81.9%(採 AVG@5 評估,除 o1 系列外參數設定為 temperature 0.7、top-p 0.95)。SimpleBench 包含超過 200 道題目,涵蓋時空推理、社交智慧以及語言對抗魯棒性(陷阱題)。團隊指出,人類基準來自 9 名受試者的小樣本,該結果顯示現行前沿 LLM 依賴的記憶知識與近似推論檢索,在回答特定基礎問題時仍存在盲區。
讀原始報導社群討論
多數開發者批評 Astra 與 Sol 6.2 出現嚴重退步,不僅寫程式碼品質低落,還常在長任務完成度不到 25% 時擅自中斷,排行榜上 Sol 6.2 亦從前代的第 10 名重挫至第 30 名。然而,部分用戶質疑 Simple Bench 多為刁鑽的陷阱題,並反駁新模型在實際工作流、程式碼審查與動態基準測試(如 Kradle.ai)中速度更快且有顯著進步,足以匹敵 Opus 5.5。