跳到主要內容
2026-11-03 日報
研究與評測

本地 Qwen3.8-Flash-Next 修 9 個私有 bug 得 0.50 分,與 Claude Haiku 5.5 同級

Reddit r/LocalLLaMA單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

Reddit r/LocalLLaMA 作者以自家 C++/CUDA 推論引擎 capy-flash(2 張 RTX 5070 Ti 16 GB)的 9 個私有回歸 bug 進行測試,比較本地量化模型與 Claude 模型的修復能力。這是作者的個人評測,尚未獨立驗證。每題只提供症狀、數據與日誌,代理在無網路、無 CUDA 工具鏈的沙箱中僅能靠閱讀程式碼推理,上限 80 步,每模型每題跑 3 次。評分結合自動比對隱藏答案與 Claude Opus 5 盲評,兩者逐補丁相關係數 r=0.79;無法編譯的補丁上限 0.25 分。Claude 模型在 Claude Code 中執行,本地模型在 OpenCode 中執行。 結果(0–1 分):Claude Opus 5.5 為 0.74,Sonnet 5.5 為 0.58;本地 Qwen3.8-Flash-Next NVFP4 為 0.50、3-bit 為 0.48,與 Claude Haiku 5.5(0.47)同級,並高於 Sonnet 5(0.28)與 Sonnet 4.5(0.19)。本地 Qwen3.8-27B 3-bit 為 0.39、NVFP4 為 0.34;Gemma 4 26B-A4B(開啟思考)為 0.07。作者指出樣本僅 9 題,信賴區間約 ±0.2,差距小於 0.1 的模型排序不具統計意義。 就 3-bit 量化而言,Flash-Next 僅量化專家層,相較 NVFP4,分數變化為 -0.02,Token 用量為 ×1.03,在本次樣本中看似無損。27B 3-bit 分數高出 0.05,但仍在誤差範圍內,每題 Token 用量則增為 ×1.40(信賴區間 1.25–1.59)。其解碼速度較快(153 比 132 tok/s),每題耗時卻由 13 分鐘增至 18 分鐘。作者表示部分延遲來自已修正的 3-bit prefill 慢速路徑,重跑後 Token 比仍為 ×1.30。作者的解讀是:量化的代價未反映在分數上,而是模型需要更長的推理才得到相同結果。無法編譯的補丁數量則沒有明確趨勢:Flash-Next 3-bit 為 5/27,NVFP4 為 1/27;27B 3-bit 為 2/27,NVFP4 為 4/27。
讀原始報導

背景

專家跳過(expert skipping)是針對 MoE(Mixture-of-Experts)大型語言模型的加速手法,做法是剪除或動態停用部分專家,以降低推論負擔。這類方法在 2024 年已有 ACL 論文發表,相關實作也已公開。

來源