開發生態
開源專案 Lean-QwenFlash 透過 NVMe 卸載,讓 125B Qwen3.8 在 16GB VRAM 跑出 20 tok/s
Reddit r/LocalLLaMA單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
開源社群開發者 MaxDev0 於 Reddit 發布推論專案 Lean-QwenFlash,宣稱透過直接 NVMe SSD 卸載(offloading)技術,讓 125B 規模的 Qwen3.8-Flash-Next 能夠在消費級硬體上推論。現有部署方案(如 Strata)通常需將該模型 2.4 萬個專家(experts)常駐在 48–64 GB 的系統記憶體(RAM),並由 CPU 處理快取未命中;Lean-QwenFlash 則借鑑 sybil-solutions 的 GLM 卸載設計與 turboderp 的 ExLlamaV3 進行改編,大幅壓低記憶體需求。
根據作者公布的測試數據(採用 3.05bpw_h5_ng5 量化與 Q4 KV 快取,尚未經第三方驗證):在配備 16GB 顯示記憶體(VRAM)且僅配置 8GB 系統 RAM 的 RTX 4090 上,8k 短上下文解碼速度為 19–33 tok/s(prefill 約 1,080 tok/s),在滿視窗 262k 上下文下解碼仍可達 20.0 tok/s(prefill 約 1,627 tok/s);在 RTX 3080 行動版(16GB VRAM、32GB RAM)上,100k 上下文解碼為 18–21 tok/s,峰值 VRAM 佔用為 15.5 GB。相關設定說明、模型下載器與封裝腳本已於 GitHub 公開。
讀原始報導背景
在大型語言模型推論架構中,SSD 卸載(offloading)技術會將靜態記憶體或模型與 KV 快取移至 NVMe SSD,並由系統記憶體作為 GPU 與 SSD 之間的傳輸中介,以緩解硬體記憶體限制。此外,社群也發展出如 ExLlamaV3 等專門針對消費級 GPU 最佳化的量化與推論函式庫,協助提升模型在本地端執行的效率。
來源
本期分類