研究與評測
UniPat AI 聯合名校推出濕實驗結果預測基準 SPU:12 款前沿模型表現低迷,Claude Opus 5.5 以 0.486 分居首
量子位單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

由 UniPat AI 牽頭,聯合史丹佛大學、康奈爾大學、哈佛大學等機構推出科學評測基準 Science Prediction Universe(SPU),用於評估 AI 模型預測真實濕實驗結果的能力。該基準涵蓋 32 個子領域、116 項任務與 4,207 個實驗;其中 100 項公開任務整理自 85 篇近期發布論文,16 項私有任務則來自未發表的合作實驗,涉及 VHH 奈米抗體、反應條件、電解液與 Magrolimab 變體。
評測設定模型每次運行上限為 8 小時,配備 8 核 CPU、16 GiB 記憶體與 1 塊 NVIDIA H20 GPU,允許聯網檢索與安裝科研軟體。為避免記憶污染,評分在獨立斷網容器中進行並過濾論文標識符,最後以 Spearman 相關係數比對實驗排序,並以 4,000 次隨機排序的第 95 百分位作為隨機門檻。
首輪評測涵蓋 12 款前沿模型共 13 種配置,各配置僅在 34% 至 52% 的任務上超過隨機水準。表現最好的 Claude Opus 5.5 平均得分為 0.486,但也僅在半數任務中超越隨機門檻。各學科公開任務中,化學類平均最高分為 Opus 5.5,材料科學為 Fable 5.1,生物學為 GPT-6 Astra Medium,醫學為 Opus 5(其中 Fable 5.1 與 Opus 5.5 存在拒答現象)。
測試顯示單純增加推理算力並未提升預測品質:將 GPT-6 Astra 推理強度調至最高,運行時間中位數增加至 4.8 倍、API 成本增至 5.3 倍,但分數無顯著差異;運行記錄顯示其在中位進度 26% 時即已確定主要答案,後續計算未改變排序依據。此外,充足算力下僅有 255 次成功調用 GPU(不足總運行的五分之一),各配置單次運行的平均 API 成本介於 0.22 美元至 65.91 美元之間,差距達 300 倍。目前 SPU 的公開任務、資料集與程式碼已在 GitHub 開源。
讀原始報導