Reddit 實測 Qwen3.8-Flash-Next：六張 RTX 3090 以 vLLM 容納 7 個 262k 上下文，總解碼 206 tokens/s

Reddit r/LocalLLaMA 一名使用者分享未經證實的實測：在六張 RTX 3090、AMD 7950X、187 GiB 記憶體的消費級主機上，透過自行修改的 vLLM 分支執行 Qwen3.8-Flash-Next；該機沒有 EPYC 或 Threadripper，四張 GPU 透過 Thunderbolt 連接，也沒有 GPU P2P。使用 GPTQ-INT4 checkpoint 與 int8 KV cache 時，250k token 單一工作階段的 prefill 速度為 6,574 tokens/s，首次 token 延遲約 37.8 秒，單一工作階段 decode 為 57.6 tokens/s；5 個工作階段的個別與總解碼速度為 37.9／190 tokens/s，7 個工作階段則為 29.4／206 tokens/s，GPU KV 中可同時保留 7 個 262k 上下文。該實作的 PLE 表格可放在 SSD，作者稱可節省 108GB 系統記憶體；伺服器閒置時可用主機記憶體為 141 GiB。 作者稱，上游 vLLM 在這台機器上目前無法直接啟動此模型：模型拒絕 pipeline parallelism 大於 1，tensor parallelism 只能使用 1、2、4 或 8，導致六張卡無法直接配置，而 24GB GPU 在 TP=1 時也放不下模型。該分支加入相關修正，並將 102GB 的 n-gram PLE 表格移至 SSD；作者另稱 Ampere GPU 使用 FP8 KV cache 會崩潰。模型載入至可用狀態約需 4 至 5 分鐘。 同一測試中，llama.cpp multigpu 在 250k 上下文的單一 prefill 為 2,111 tokens/s、首次 token 約 118 秒、單一 decode 為 33.7 tokens/s；其 5 工作階段解碼約為每個 30、總計 150 tokens/s，且只能容納 5 個工作階段。作者因此認為，這個 vLLM 分支在 prefill、單一使用者速度與可容納工作階段數較有利，而 llama.cpp 在多使用者情境下較能維持接近一致的個別速度。 測試也顯示，NVFP4 checkpoint 在這些 GPU 上比 GPTQ 慢約 10% 至 12%，兩者都使用 Marlin 權重專用核心；作者表示 Ampere 沒有可讓 FP4 加速的硬體。vLLM 的 pipeline parallelism 下，個別使用者 decode 速度會隨人數由 57 降至 44、38、29 tokens/s，而 llama.cpp 的分組解碼在 1 至 5 名使用者間約由 34 降至 30 tokens/s。這些結果只來自一台機器與單一模型系列，程式碼由大型語言模型協助撰寫，再以 needle 測試、核心輸出比對及實測驗證，作者表示這是修正分支而非預計長期維護的 fork；批次輸出也可能因 vLLM 的批次非決定性而與單獨執行不完全相同。