ISTA 釋出 DeepSeek-V4.1 量化 GGUF：宣稱 2.00 bpw 效能無損，單張 12GB 顯卡可運行

社群用戶於 Reddit r/LocalLLaMA 發布 ISTA Deep Algorithms and Systems Lab（ISTA-DASLab）針對 DeepSeek-V4.1-Flash-1017 開發的 GSQ 與 RCO 量化 GGUF 檔案，但該模型與發布內容目前尚未獲得官方證實。依據發布資訊，DeepSeek-V4.1-Flash-1017 為 763.2B 參數的稀疏混合專家（MoE）架構，具備 1M token 上下文視窗，每層包含 384 個路由專家且每個 token 啟用 6 個。 本次發布將 551.9B 的主幹參數壓縮為三種規格：IQ1_M（1.75 bpw，120.7 GB）、IQ2_XXS（2.00 bpw，138.2 GB）與 IQ2_XS（2.25 bpw，155.2 GB）；另附一個 110.6 GB 的共享 Engram 檔案（涵蓋 196.6B 參數，採 IQ4_NL 量化），因每 token 僅讀取一行，可透過記憶體映射（mmap）直接由磁碟讀取。 量化技術結合了聯合學習網格分配與分組縮放的 Gumbel-Softmax 量化（GSQ），以及透過任務損失梯度下降配置位元預算的黎曼約束最佳化（RCO）。發布者宣稱，在推理強度設為 50 的條件下，2.00 bpw 版本在 AIME25（100.00）、GPQA-Diamond（90.91）與 LiveCodeBench v6（89.71）基準測試中完全追平基準模型；1.75 bpw 則保留了 98.7% 的任務平均效能。 目前 llama.cpp 尚未支援 DeepSeek-V4.1，該 GGUF 暫時無法在 llama.cpp 運作，需透過 Strata 框架部署；發布者稱其支援在單張 12 GB VRAM 的 NVIDIA GPU 上執行，並提供相容 OpenAI 格式的本地端點。