模型發布
MachinePulse 發布開源多模態決策模型 Karpo-Decision-31B,Decision Index 綜合分數 73.9 與 GLiDE 27B 並列第一
Reddit r/LocalLLaMA單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
MachinePulse 發布開源多模態決策模型 Karpo-Decision-31B,基於 Gemma 4 31B 微調,用於文字與圖像的結構化決策。該模型在 11 月 12 日的 Decision Index 榜單上取得 Full 分數 73.9,為 300 個項目中最高,依榜單的並列規則與 GLiDE 27B 同列第一。Full 分數由基準維護者以私有測試計算,60% 權重來自公開套件涵蓋的技能,40% 來自新領域任務;其中熟悉技能為 70.7,新領域為 78.6,公開指數 75.0 另行列出、不計入 Full 分數。
模型架構上,它在 Gemma 4 31B 之上加入可訓練的線性讀出層,為提供的答案選項打分。支援三種題型:選擇題、是非題與評分題,直接輸出機率,單一選擇題最多可有 255 個選項。同一輸入的多個問題可在一次前向傳播中完成,透過分支注意力讓各問題讀取共享上下文與自身選項,同時保持選項分支彼此隔離。支援文字與圖像(含網頁截圖),文件載明的序列上限為 32,768 個 token,超出時會依問題拆分,每段都附上完整狀態。
團隊的訓練細節指出,完整微調將公開分數推高至 75.09,但在不熟悉領域的準確率下降 2.3 個百分點。最終模型平均五個檢查點:三個來自完整微調的不同階段,兩個來自 LoRA 訓練,據稱在不熟悉領域較單一最終檢查點提升 1.6 個百分點,且推論時無需執行額外模型。
團隊也公布與 Google Gemini Decision 1 的比較:When2Call 為 90.4% 對 79.9%,Mind2Web 為 90.0% 對 86.2%,New Yorker Caption 為 90.5% 對 79.7%,Amazon ESCI(F1)為 64.7 對 58.7。在單張 RTX PRO 6000 上,公開 Decision Index 套件的中位延遲約 95 毫秒。BF16 權重約 62.5 GB,另需執行期記憶體。模型權重與推論程式碼皆以 Apache 2.0 授權釋出,提供 Python API 與 HTTP 伺服器。以上數據多來自 Reddit 貼文與團隊自述,尚未有獨立來源證實。
讀原始報導背景
LoRA(Low-Rank Adaptation,低秩適應)是一種參數高效的微調技術,會凍結預訓練模型的權重,只訓練注入各層的低秩分解矩陣,因此能以較低成本調整大型模型。檢查點平均(checkpoint averaging)則是把訓練過程中多個檢查點的權重取平均,相關研究指出其效果取決於檢查點是否來自同一任務、同一基底模型。