llama-modchip 釋出 ggml 核心修補:免 GPU 僅靠 64GB 記憶體執行 284B DeepSeek,解碼達 14.7 tok/s
已查原文 · 6 項主張
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
經比對開源專案 llama-modchip 官方儲存庫與其技術文件,報導中關於該專案發布針對 ggml/llama.cpp 的修補、模型壓縮大小(56.56 GiB 與 14.35 GiB)、實體記憶體佔用(57.61–58.9 GiB VmRSS)、Zen 5 與 Threadripper 效能數據(預填 44.36 tok/s、解碼 9.1–14.7 tok/s 與 111.62 tok/s)、底層快取最佳化機制及原生工具不相容自訂型別 40 等技術主張,均與該專案公開記載相符。上述效能與推論數據均為專案官方發布之實測報告內容。
開源專案 llama-modchip 釋出針對 ggml 與 llama.cpp 的核心修補檔,實現完全無需 GPU、僅利用 64GB 系統記憶體即可在 CPU 上執行 284.33B(活躍 13.17B)的 DeepSeek-V4-Flash 模型。
llama-modchip 專案首頁說明與架構規格證實,該修補檔支援 284.33B(活躍參數 13.17B)之 DeepSeek-V4-Flash 模型,且可在零 GPU 條件下完全依賴 64GB 系統記憶體在 CPU 運行。
0 GPUs required
查看原始出處
該技術採用 Fractal-64 量化等方案,將 DeepSeek-V4-Flash 自標準 UD-IQ1_S 的 76.87 GiB 壓縮至 56.56 GiB(有效位元寬 1.71 bpw)。
專案文件記載 DeepSeek-V4-Flash 原標準 UD-IQ1_S 格式佔 76.87 GiB,轉碼後為 56.56 GiB,有效位元寬為 1.71 bpw。
56.56 GiB DeepSeek-V4 GGUF (1.71 bpw)
查看原始出處
在 64GB Linux 系統中,模型本體加上 256K 上下文長度 KV 快取之峰值記憶體(VmRSS)為 57.61 至 58.9 GiB,無需 NVMe swap 即可常駐實體記憶體。
專案記憶體規格指出該模型加 256K 上下文之峰值 VmRSS 為 57.61 至 58.9 GiB,在 62.5 GiB 可用記憶體的 Linux 系統中完全常駐且無需 swap。
zero NVMe swap
查看原始出處
MoE 路由預設維持 Top-6 評估(6 個路由專家與 1 個共享專家),提供選用 Top-5 或 4 旗標;在 16 核 Zen 5 處理器實測提示預填達 44.36 tok/s,解碼達 9.1 至 14.7 tok/s。
技術文件指出預設為無剪枝 Top-6 路由,並支援 Top-5 與 Top-4;在 16 核 Zen 5 上預填速度達 44.36 tok/s,文字生成解碼速度為 9.1 至 14.7 tok/s。
Top-6 Lossless (Default)
查看原始出處
11.5–14.7 tok/s w/Stockfish-PVS
查看原始出處
背景
llama-modchip 是一組針對 ggml/llama.cpp 的核心運算修補與量化轉換工具,目標是讓稀疏的 Mixture-of-Experts(MoE)模型完全在系統記憶體中執行,不需要 GPU。量化是降低模型權重的精度,例如把 32 位元浮點數轉為 4 位元整數,可以縮小模型體積、加快推論速度,這也是該專案能把 284B 參數模型壓進 64GB 記憶體的主要做法。
社群討論
社群對低成本本地推論的進展表示關注,有網友實測在 Ryzen 7 5700U/64GB DDR4 上僅以 15W 功耗便能跑出 12-14 TPS,antirez 亦分享在 128GB unified RAM 下 prefill 可達約 300 t/s。然而多數人對過度量化後的模型品質強烈質疑,指出該規模模型正常運作需約 150GB RAM,且文獻已證實低於 4-bit 效能會劇烈下滑,推測 2-bit 的產出恐不具實用性。此外,不少留言批評專案的 README 充斥 AI 生成廢話且規格交代不清,實測在 CPU 上與原生 llama.cpp 相比亦無顯著差異。