模型發布
StartLux 發布決策模型:27B Instant 登頂 Decision Index 榜首,結合 AutoThink 按需推理機制
AI 前線單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
據報導,中國團隊 StartLux 推出專為 AI 系統路由與判斷設計的決策模型系列,其 27B Instant 模型在 10 月 16 日更新的 Hugging Face Decision Index 0.3.2 評測榜單中,以 69.12 分於 174 個參評項目中名列第一,並在公開基準、同類私測與新領域私測三個子項目均拿下首位。在團隊公布的 DI 0.3 公開測試中,具備額外推理能力的 StartLux-Decision-27B-AutoThink 取得 73.37 分,相較 Jev 託管版的 57.96 分領先約 27%。
該系列提供 Instant 與 AutoThink 兩條路線。Instant 涵蓋 0.8B 至 27B 五種規模,全注意力層採用雙向注意力直接輸出選項機率;在單張 NVIDIA H200 GPU、vLLM 與單併發環境下,0.8B 至 27B 模型的單次請求中位延遲介於 25 至 52 毫秒。AutoThink 則涵蓋 4B、9B 與 27B,採因果注意力;當初始最高機率未達設定閾值(預設服務為 0.6,論文實驗為 0.9)時啟動推理,最終以 75% 推理權重與 25% 初始權重融合輸出。在測試關鍵條件變化的 DecisionPivot 評測中,27B AutoThink 的成對準確率達 86.9%,優於 27B Instant 的 75.4% 與 Jev 託管版的 31.0%。
為控制推理開銷,團隊提出 RLCD² 強化學習演算法,在懲罰超長推理的同時維持決策品質。留出測試顯示,9B 模型的平均推理長度由 2494 token 降至 868 token(減少約 65%),正常結束推理比例自 45.9% 升至 93.9%,準確率則維持在 80.48%。此外,針對候選篩選後置信度虛高的問題,團隊提出策略感知校準,在多種流程中將偏差控制在 -2.7 至 +2.1 個百分點內,但在跨資料集測試中仍有最高 6.1 個百分點的過度自信現象。目前 StartLux 推論程式碼已採 Apache 2.0 授權開源,支援 vLLM、llama.cpp 與 MLX,模型權重則採用 CC BY-NC 4.0 非商業授權。
讀原始報導