跳到主要內容
2026-11-09 日報
模型發布

llama-modchip 釋出 ggml 核心修補:免 GPU 僅靠 64GB 記憶體執行 284B DeepSeek,解碼達 14.7 tok/s

Hacker News單一來源
已查原文 · 6 項主張

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

經比對開源專案 llama-modchip 官方儲存庫與其技術文件,報導中關於該專案發布針對 ggml/llama.cpp 的修補、模型壓縮大小(56.56 GiB 與 14.35 GiB)、實體記憶體佔用(57.61–58.9 GiB VmRSS)、Zen 5 與 Threadripper 效能數據(預填 44.36 tok/s、解碼 9.1–14.7 tok/s 與 111.62 tok/s)、底層快取最佳化機制及原生工具不相容自訂型別 40 等技術主張,均與該專案公開記載相符。上述效能與推論數據均為專案官方發布之實測報告內容。

開源專案 llama-modchip 釋出針對 ggml 與 llama.cpp 的核心修補檔,實現完全無需 GPU、僅利用 64GB 系統記憶體即可在 CPU 上執行 284.33B(活躍 13.17B)的 DeepSeek-V4-Flash 模型。

llama-modchip 專案首頁說明與架構規格證實,該修補檔支援 284.33B(活躍參數 13.17B)之 DeepSeek-V4-Flash 模型,且可在零 GPU 條件下完全依賴 64GB 系統記憶體在 CPU 運行。

0 GPUs required

查看原始出處

該技術採用 Fractal-64 量化等方案,將 DeepSeek-V4-Flash 自標準 UD-IQ1_S 的 76.87 GiB 壓縮至 56.56 GiB(有效位元寬 1.71 bpw)。

專案文件記載 DeepSeek-V4-Flash 原標準 UD-IQ1_S 格式佔 76.87 GiB,轉碼後為 56.56 GiB,有效位元寬為 1.71 bpw。

56.56 GiB DeepSeek-V4 GGUF (1.71 bpw)

查看原始出處

在 64GB Linux 系統中,模型本體加上 256K 上下文長度 KV 快取之峰值記憶體(VmRSS)為 57.61 至 58.9 GiB,無需 NVMe swap 即可常駐實體記憶體。

專案記憶體規格指出該模型加 256K 上下文之峰值 VmRSS 為 57.61 至 58.9 GiB,在 62.5 GiB 可用記憶體的 Linux 系統中完全常駐且無需 swap。

zero NVMe swap

查看原始出處

MoE 路由預設維持 Top-6 評估(6 個路由專家與 1 個共享專家),提供選用 Top-5 或 4 旗標;在 16 核 Zen 5 處理器實測提示預填達 44.36 tok/s,解碼達 9.1 至 14.7 tok/s。

技術文件指出預設為無剪枝 Top-6 路由,並支援 Top-5 與 Top-4;在 16 核 Zen 5 上預填速度達 44.36 tok/s,文字生成解碼速度為 9.1 至 14.7 tok/s。

Top-6 Lossless (Default)

查看原始出處

11.5–14.7 tok/s w/Stockfish-PVS

查看原始出處

專案導入 4 層快取排程、MQA8 FlashAttention 與 _MM_HINT_NTA 非暫態串流以避免熱快取被擠出,使預填提升 77%、解碼提升 53%,並整合 1.64 MB Zobrist 推測解碼器與 /dev/shm 快照。

硬體與架構最佳化指南記載了 4 層快取排程、_MM_HINT_NTA 快取隔離、1.64 MB Zobrist 推測解碼及 /dev/shm 快速狀態還原機制,效能提升數據與報導相符。

4-Level Register

查看原始出處

_MM_HINT_NTA victim-L3 isolation

查看原始出處

專案亦支援 Nemotron-3.5-30B-A3B(14.35 GiB,3.75 bpw),在 8 通道 Threadripper 可達 111.62 tok/s;因自訂張量型別(ID 40),未修補的原生 llama.cpp 等工具無法載入。

專案文件記載 Nemotron-30B 在 Threadripper 7985WX 運行速度達 111.62 tok/s;並特別註明因自訂型別 ID 40,原生 llama.cpp、Ollama 等將會報錯無法讀取。

7985WX (DDR5): 111.62 tok/s warm

查看原始出處

unknown tensor type 40

查看原始出處
開源專案 llama-modchip 釋出針對 ggml 與 llama.cpp 的核心修補檔、量化轉碼器及執行階段工具,實現完全無需 GPU、僅利用 64GB 系統記憶體即可在 CPU 上執行總參數 284.33B(活躍參數 13.17B)的 DeepSeek-V4-Flash 稀疏混合專家(MoE)模型。 該技術採用 Fractal-64 量化(自訂 64 權重區塊與 BF16 縮放的 GGML_TYPE_Q2_0 格式),將 DeepSeek-V4-Flash 自標準 UD-IQ1_S 的 76.87 GiB 壓縮至 56.56 GiB(有效位元寬 1.71 bpw)。在 64GB Linux 系統(可用記憶體約 62.5 GiB)中,模型本體加上 256K 上下文長度的 KV 快取,峰值記憶體(VmRSS)為 57.61 至 58.9 GiB,無需依賴 NVMe swap 即可完全常駐於實體記憶體內。路由評估方面,預設維持完整評估每層全部 6 個路由專家與 1 個共享專家(Top-6 無剪枝),並提供選用旗標 LLAMA_MOE_TOP_K=5 或 4 以略微犧牲困惑度換取更高吞吐量。在 16 核 Zen 5 處理器實測下,提示預填速度達 44.36 tok/s,文字生成解碼速度為 9.1 至 14.7 tok/s。 在底層硬體最佳化上,專案導入 4 層快取排程(AVX-512BW 暫存器、32KB L1D、1MB L2 與 64MB L3 多欄排程),搭配暫存器常駐的 MQA8 FlashAttention 與 _MM_HINT_NTA 非暫態串流,避免冷專家權重擠出 L3 快取中的熱 KV 快取行,使預填效能提升 77%、解碼提升 53%。此外,系統整合了 1.64 MB 的 Zobrist n-gram 推測解碼器(Stockfish-PVS v2),並透過 /dev/shm 進行 KV slot 快照,在 40 個工具呼叫的 Claude Code 提示詞下可於 13.1 至 32.6 毫秒內完成狀態還原。 除 284B 模型外,該專案亦支援 Nemotron-3.5-30B-A3B(壓縮後 14.35 GiB,3.75 bpw),可在 16 至 32 GB 記憶體的筆電或 Mini-PC 上以 25.0 至 60.4 tok/s 運行,在 8 通道 Threadripper 工作站更可達 111.62 tok/s。由於 Fractal-64 採用自訂張量型別(型別 ID 40),未修補的原生 llama.cpp、Ollama 或 LM Studio 將無法載入,需使用該專案釋出的獨立預編譯二進位檔執行。
讀原始報導

背景

llama-modchip 是一組針對 ggml/llama.cpp 的核心運算修補與量化轉換工具,目標是讓稀疏的 Mixture-of-Experts(MoE)模型完全在系統記憶體中執行,不需要 GPU。量化是降低模型權重的精度,例如把 32 位元浮點數轉為 4 位元整數,可以縮小模型體積、加快推論速度,這也是該專案能把 284B 參數模型壓進 64GB 記憶體的主要做法。

社群討論

社群對低成本本地推論的進展表示關注,有網友實測在 Ryzen 7 5700U/64GB DDR4 上僅以 15W 功耗便能跑出 12-14 TPS,antirez 亦分享在 128GB unified RAM 下 prefill 可達約 300 t/s。然而多數人對過度量化後的模型品質強烈質疑,指出該規模模型正常運作需約 150GB RAM,且文獻已證實低於 4-bit 效能會劇烈下滑,推測 2-bit 的產出恐不具實用性。此外,不少留言批評專案的 README 充斥 AI 生成廢話且規格交代不清,實測在 CPU 上與原生 llama.cpp 相比亦無顯著差異。

來源