未驗證 Reddit 實測：Qwen3.8-27B CUDA megakernel 在單張 RTX 3090 達 140 tok/s

據 Reddit r/LocalLLaMA 一名使用者未經驗證的後續實測，Qwen3.8-27B 的 CUDA megakernel 引擎在單張 RTX 3090 上，程式撰寫情境達 140 tok/s，約為 llama.cpp 搭配 MTP 的 73 tok/s 的 1.9 倍；推理模式為 78 對 51 tok/s，30K 程式碼 context 為 73 對 52 tok/s。Prompt processing（prefill）速度則約為 1,600 對 1,100 tok/s。關閉 speculative decoding 後，兩者速度接近，測得 42.9 對 40.4 tok/s；作者稱主要增益來自每次約以一次計算成本檢查 4–5 個草稿 token，而 llama.cpp 測試使用 2 個草稿、megakernel 使用 4 個。 作者以 llama.cpp 作為基準比較解碼結果：1K、30K 與 96K context 的 megakernel top token 一致率分別為 99.08%、99.65% 與 99.60%，平均 KL divergence 分別為 0.0009、0.0007 與 0.0008；llama.cpp 對應的一致率為 98.68%、99.35% 與 99.45%，KL divergence 為 0.0019、0.0009 與 0.0014。1K 測試的 perplexity 為 megakernel 2.4274、llama.cpp 2.4283、參考值 2.4263；相對參考值的 log-loss 差異在 1K、30K 與 96K 分別為 +0.0005 ± 0.0004、+0.0018 ± 0.001，以及 +0.0012 ± 0.001，作者認為差異不具顯著性。30K 與 96K 資料各來自一段程式碼，1K 則混合程式碼與一般文字。 作者表示 speculative decoding 的結果是精確的：greedy output 仍採用主模型的 greedy 選擇，取樣時則維持沒有草稿時的相同分布。不過目前只有單張 GPU 測試，megakernel 僅針對 RTX 3090 調校；支援範圍為具備 24GB 以上記憶體的 RTX 30、40、50 系列。作者稱 RTX 3090 可執行 147K context，在約 80K context 前使用 fp16 KV cache，之後使用 q8；目前尚無 task-level pass-rate 評測。 量化方面，原始 unsloth Q4_K_M 是此次測試採用的原生模型，會使用 megakernel；lmstudio-community 與 mradermacher 的 Q4_K_M 屬半相容版本，需進行型別轉換，初步結果顯示速度與原生版本相近；其他量化版本則回退至 llama.cpp。作者也表示，後續更新已合併檢查每個 tensor 型別，以及伺服器在接受請求前先完成暖機；模型下載問題則因 unsloth 移除 Q4_K_M 後，改由 lmstudio-community 與 mradermacher 提供替代來源。相關程式碼與基準測試發布於 open-jet 儲存庫，但目前沒有其他來源佐證這些數據。