研究與評測
Reddit 開發者實作 Kimi-K3.1-Pro 2.8T 三層卸載量化版:體積壓縮 56% 至 775GB,AIME 2025 維持 96.7% 準確率
Reddit r/LocalLLaMA單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
Reddit 社群 r/LocalLLaMA 有開發者分享針對 2.8T 參數量級模型 Kimi-K3.1-Pro 的實驗性量化與推論架構,相關數據尚未經第三方或官方獨立驗證。該模型全架構含 93 層、每層 384 個路由專家,原始 MXFP4/BF16 權重約 1.77 TB,通常需約 22 張 80GB GPU 才能完整載入 VRAM;該實作將其壓縮至 775 GB,降幅達 56%。
量化設計上,共享專家(shared experts)、注意力機制與嵌入層維持原生 BF16/FP32,僅對各層被呼叫頻率不同的路由專家採三階混合量化(2.81 bpw、2.56 bpw 與 1.44 bpw),MoE 平均位元率由原生約 4.0 bpw 降至 1.92 bpw。為解決硬體頻寬瓶頸,開發者搭配兩項客製工具:其一是 Strata 卸載引擎,將專家權重依熱度分配至 GPU VRAM、固定系統記憶體(Pinned RAM)與 NVMe,並透過路由器預先擷取(Lookahead prefetching)達到宣稱 97.9% 的命中率;其二為 dr-triton 融合算子,讓權重以壓縮狀態通過 PCIe,僅在 GPU SRAM 內解量化。
根據貼文公布的單卡測試資料(採用 NVIDIA RTX PRO 6000 Blackwell 96/102 GB VRAM 與 176 GB RAM):在 AIME 2025 與 LiveCodeBench(各 30 題)測試中,量化版本均解出 29 題(96.67%),與 1.77 TB 原版完全一致;Top-1 與 Top-5 Token 一致率分別為 95.20% 與 99.92%,AIME 困惑度(PPL)上升 1.01%,LiveCodeBench 整體困惑度上升 2.67%。推論速度方面,該配置批次預填充評估為 36.8 TPS,單串流解碼為 10.8 TPS;若在單張 RTX 4090/5090 搭配 128 GB DDR5 與 Gen4 NVMe 的環境下,解碼速度預估約 4 至 5.5 tok/s。由於採用客製張量排列,該權重無法直接相容既有 llama.cpp 或 vLLM。
讀原始報導