社群實測 DeepSeek V4 量化：揭露預設轉換 Bug，llama.cpp 在 RTX 5090 與 H100 產生不同困惑度

據 Reddit r/LocalLLaMA 社群報導，AtomicChat 創辦人發布了 DeepSeek V4 0731 的量化測試結果，並在 8 張 RTX 5090 上對 38 個量化檔案進行評測。 團隊在轉換原始 safetensors 時發現兩個問題：首先，必須使用 `--no-lazy` 參數，否則 `token_embd.weight` 會出現 NaN 錯誤；其次，預設轉換腳本（`conversion/deepseek.py`）寫死了將 FP8 張量降轉為 Q8_0 的設定，導致量化前就產生 0.219 的 KLD 偏差，使 162 GB 的預設「無損」基準模型誤差甚至高於 3-bit 量化模型。團隊改以 BF16 替換這些張量，才使基準模型達到位元級精確（bit-exact）。 在硬體差異方面，團隊發現 llama.cpp 針對消費級 Blackwell 架構設有 MXFP4 權重快速路徑（fast path），導致同一模型檔案在不同 GPU 上跑分不同。實測顯示，同一檔案在 RTX 5090 的困惑度（PPL）為 4.5381，而在 H100 上則為 4.3406。 評測結果指出，由於模型採用量化感知訓練（QAT），154 GB 以上的量化版本差異不大，主要效能分歧落在 85 至 135 GB 區間。團隊也提到 Hugging Face 上的量化命名缺乏統一標準（例如其 2.79 bits 的 AD-IQ2_M 被其他人標為 IQ3_XXS），並建議 128 GB 記憶體設備的最佳選擇為 104 GB 的 AD-IQ2_M 版本，該版本與基準模型相比可達 83.6% 的 top-1 準確率。