模型發布
商湯開源 SenseNova Loop-9B:採循環架構將部署顯示記憶體降至 10GB 內,支援 512K 長文本
iThome 中國單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
據媒體報導,商湯科技於 11 月 17 日晚間發布並開源 SenseNova Loop-9B 模型。該模型總參數規模約 9B,支援文字與圖像輸入、文字輸出,上下文長度最高可達 512K tokens。
架構方面,模型延續 Preview 版本設計,採用 Loop 循環架構與流形約束超連接(mHC):將第 4 至 27 層設為共享權重的循環模組並執行兩次,在一次前向傳播中將 32 個物理解碼層擴展為 56 次層計算;解碼器每四層為一組,由三層線性注意力結合一層全注意力組成。
部署資源上,官方同步釋出 AWQ 4bit 量化版本,模型權重約 4.9GB,使部署顯示記憶體需求壓至 10GB 以內。若採用 4bit 權重量化搭配 8bit KV 快取,進行 256K 長文本推論時的顯示記憶體需求約為 15 GiB。
評測表現方面,官方稱其在通用 Agent 與資料分析任務上具備比肩 Qwen3.8-27B 的性能:在 NL2Repo 基準獲得 41.36 分(Qwen3.8-27B 為 44.60 分),AIDABench 基準則取得 65.31 分,微幅高於 Qwen3.8-27B 的 65.01 分。目前該模型的權重與程式碼已在 Hugging Face 開放下載。
讀原始報導背景
在深度神經網路的架構演進中,超連接(HC)雖拓展了傳統殘差連接的表徵能力,卻也帶來穩定性與梯度相關挑戰。流形約束超連接(mHC)技術透過將超連接的殘差空間投影至特定流形以恢復恆等映射特性,成為改善深層網路資訊路由與訓練效率的新型架構範式。