模型發布
Reddit 貼文稱 Sabi-Noema 推出兩款 Qwen 3.8 27B 微調模型,推理 token 減半、KV cache 可縮至 1/8.4
Reddit r/LocalLLaMA單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
Reddit r/LocalLLaMA 一則尚未獲獨立佐證的貼文稱,團隊發布兩款 Qwen 3.8 27B 後訓練模型 Sabi-Noema 與 Sabi-Noema-MLA,主打提升 30B 以下模型的能力與推理效率,並稱模型僅使用開源環境訓練。
貼文宣稱,Sabi-Noema 在 DeepSWE 擊敗 GPT 6 Luna-medium,表現介於 Luna 6 medium 與 high 之間;在 TB2.1、Tau-3 bench、ClawEval 與 BFCL v4 等代理與工具呼叫評測中則擊敗 Luna-high。貼文也稱其幻覺率低於 Luna、Qwen 與其他競品,但未提供可供本報獨立核對的佐證來源。
效率方面,貼文稱 Sabi-Noema 在 TB2.1 的每次回應 token 數比基礎 Qwen 少 50%,在 DeepSWE 少 25%。Sabi-Noema-MLA 另將 Qwen 的 GQA attention 事後轉換為 MLA,僅使用校準資料集、不進行額外訓練;以 BF16 latent 計算時,每 token 所需位元組數降低 3.6 倍,改用 FP8 壓縮後,在 TB2.1 的 KV cache 總大小宣稱可縮小 8.4 倍且維持相近效能。
貼文以 24GB 記憶體的 RTX 3090/4090 為例,稱在 q4_0 量化下使用 Sabi-Noema-MLA 可支援約 534K 上下文;相較之下,基礎 Qwen 搭配 FP8 cache 約為 150K。兩款模型均附上 Hugging Face 頁面,但目前材料僅有單一 Reddit 來源,相關跑分、token 數與記憶體效益尚未獲獨立驗證。
讀原始報導背景
Multi-Head Latent Attention(MLA)是在注意力計算中壓縮向量,以降低模型推論時的快取大小。這項機制可作為理解 Sabi-Noema-MLA 著重記憶體效率設計的背景。