模型發布
ISTA 發布 DeepSeek-V4.1-Flash-1017 Coder 壓縮版:剪除一半專家、平均 1 bit 量化,LiveCodeBench v6 保留 98.7% 表現
Reddit r/LocalLLaMA單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
ISTA DASLab 在 Reddit r/LocalLLaMA 宣布釋出 DeepSeek-V4.1-Flash-1017 的 Coder 版本,使用 GSQ 與 RCO 技術壓縮,並剪除一半路由專家。原模型為稀疏 MoE 架構,每層 384 個路由專家、每個 token 啟用 6 個,總參數 763.2B,其中 Transformer 部分 551.9B。據發布者說明,此版本每層保留 192 個專家,Transformer 權重為 72.1 GB,未剪枝的 IQ2_XXS 版本則為 138.2 GB。以原始 551.9B Transformer 參數計算約為 1.05 bits,發布者四捨五入稱為 1 bit;被剪除的專家以零位元計。保留的 280.1B 參數平均為 2.06 bits,沒有單一權重低於 1 bit。共享的 Engram 檔案(110.6 GB)與視覺投影器與未剪枝版本相同。
技術方面,GSQ(Gumbel-Softmax Quantization)是訓練後的純量量化方法,同時學習網格分配與群組縮放,宣稱可縮小純量與向量量化在低位元下的差距,並保持可用標準 GGUF 格式部署。RCO(Riemannian Constrained Optimization)以梯度下降強制滿足精確預算,用於選擇保留哪些專家,目標是最小化與未剪枝模型的 KL 散度。因 GGUF 只能儲存整個模型統一的專家數,RCO 對每層設定相同的硬性預算。
發布者公布的結果:LiveCodeBench v6 為 88.57,基礎模型為 89.71,保留 98.7%;SWE-bench Verified 為 77.00,基礎模型為 81.20,保留 94.8%。發布者指出,SWE-bench Verified 涉及跨多輪的長代理軌跡,較容易因錯誤累積而受容量縮減影響。另附三個由此 Coder 產生的單一 HTML 範例(動畫 SVG、three.js 體素寶塔花園、可操作的第一人稱體素沙盒),完整影片貼文在 X 上。
此消息目前僅來自單一社群來源,相關數據尚未獨立驗證。模型以實驗版釋出,權重與程式碼已在 Hugging Face 與 GitHub 公開,GGUF 需 llama.cpp b11870 或更新版本,或 Strata 才能執行。
讀原始報導背景
GSQ(Gumbel-Softmax Quantization)是一種訓練後標量量化(post-training scalar quantization)方法,透過 Gumbel-Softmax 鬆弛化離散格點,同時學習每個座標的格點分配與每組的縮放係數。根據其 GitHub 專案的描述,它在 2–3 bits per parameter 的低位元範圍內,大幅縮小了 GPTQ、QuIP、EfficientQAT 等簡單標量量化方法與 QTIP、AQLM、PV-Tuning 等向量或格狀(trellis)方法之間的準確度差距。