StartLux 開源決策模型專用推理引擎 Prism，單卡 H200 上最高提速 5.3 倍

StartLux 宣布開源為其決策模型 StartLux-Decision 設計的專用推理引擎 StartLux-Prism。據其公布的測試，在單張 NVIDIA H200 上，使用 StartLux-Decision v1.1 27B 模型，Prism 在測試場景中的推理速度為原有 vLLM 方案的 1.2 至 5.3 倍。同一份材料回答三個問題時，處理時間由 92.9 毫秒縮短至 17.4 毫秒；約 256 Token 的短問題則由 53.1 毫秒縮短至 19 毫秒，約 2.8 倍。 決策模型只需對有限候選選項計算概率，不需逐 Token 生成長文本。Prism 針對此做了幾項調整：其一，只為候選選項計算輸出分數，而非為約 24.8 萬個詞表 Token 全部計算 Logits，並僅在需要輸出的位置執行完整的最後一層計算；其二，將共享同一份材料的多個問題組織成樹狀結構，公共上下文只計算一次，結合 Tree Attention 處理各分支；其三，對 Projection 計算採用 INT8 Tensor Core 與 INT32 累加，StartLux 稱在其支援的配置下，同一請求的輸出概率可在不同並發、批次、快取命中與單多卡部署下保持逐位一致。在 7 個評測集、共 12,351 次決策的測試中，Prism 平均準確率為 92.94%，BF16 原始精度為 92.97%。 此外，StartLux-Decision v1.1 的 AutoThink 模式會對不確定的問題生成最長 4096 Token 的思考過程。Prism 讓思考請求與直接輸出請求共用同一個 Scheduler 與 GPU 顯存，思考任務的 Decode 以 CUDA Graph 執行，最多 64 條同時運行，新到的短請求通常只需等待一到兩個 Decode Step。單條思考任務的生成速度約為每秒 95 Token，64 條並行時總吞吐約為每秒 3832 Token。連續追問同一份長材料時，啟用 Prefix Cache 可將單次追問處理時間由 48 毫秒縮短至 5.4 毫秒。 在高並發方面，依 StartLux 公布的 JevBench 並發 64 測試，每秒處理請求數由 26.3 提升至 30.7，約增 17%。報導指出，5.3 倍的最高加速主要來自特定請求場景的延遲優化，不能直接等同所有工作負載的吞吐提升；長輸入材料的收益也會因輸入計算佔比變高而收窄。另據 StartLux 稱，其針對常用形狀開發的 INT8 GEMM 核心在 H200 指定矩陣測試中達每秒 1240 至 1420 萬億次運算，為 cuBLASLt 對應實現的 1.3 至 2.0 倍，但這不代表所有矩陣規模與硬體上都有相同優勢。 本則目前僅有單一來源報導，上述效能與準確率數據均為 StartLux 自行公布的測試結果，條件限定於特定模型、硬體與評測集，尚未經獨立驗證。另有報導指出，DeepSeek 於 10 月 20 日同樣開源了面向自家模型的推理框架 DeepInfer，顯示模型廠商正更重視推理系統與模型架構的協同優化。