模型發布
寒武紀首日完成商湯 SenseNova Loop-9B 推論適配:靜態展開 56 次層計算,4-bit 顯示記憶體需求低於 10GB
iThome 中國單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
商湯科技發布日日新 SenseNova Loop-9B 模型後,寒武紀官方宣布基於 vllm_mlu 完成 Day 0 適配,打通該模型在 MLU 平台上的推論鏈路。SenseNova Loop-9B 參數量約 9B,結合流形約束超連接(mHC),透過循環執行共享的中間層,將 32 個物理解碼層擴展為 56 次層計算;官方 4-bit 量化後權重約 4.9GB,部署顯示記憶體需求在 10GB 以內。
寒武紀公布的適配方案包含三大工程項目:在循環結構上,採用靜態展開方案轉為 56 個順序執行層,複用 vLLM 標準排程與 KV 快取機制,各層共享同一份權重儲存,顯示記憶體占用維持 32 層模型水準;在算子適配上,Attention、Linear Attention 與 MLP 替換為 vllm_mlu 既有的 Qwen3-Next 系列 MLU 算子,多模態部分則複用 Qwen3.5-VL 的 MLUQwen3_VisionTransformer 與多模態處理器,支援圖像輸入與特徵提取;在 mHC 路由上,正規化計算透過 TMO 融合介面處理,Sinkhorn 迭代則藉由 CNAgent Triton Skill 整合為單一 Triton 核心,以降低 Kernel Launch 的排程開銷。
讀原始報導