模型發布
Unsloth 推出 Qwen3.8-27B Dynamic v3.1 量化更新,稱同尺寸準確率提升 5% 至 10%
Hacker News單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

據 Unsloth 官方文件披露,團隊釋出了未經官方證實的 Qwen3.8-27B 本地部署量化指南,並推出預覽版 Dynamic v3.1 量化演算法,宣稱在相同檔案大小下,各基準測試的平均準確率可較前版提升 5% 至 10%。
該次更新涵蓋 2-bit 至 6-bit 規格(3-bit UD3 因效能相當未予變更)。評測包含 Terminal Bench 2.1、DeepSWE v1.1、LiveCodeBench v6、GPQA Diamond、MMLU-Pro 及 AIME25 等項目,其中代理測試均採用 256K 脈絡長度,其餘則為 128K。
文件指出,Qwen3.8-27B 為具備視覺與推理能力的 27B 密集(dense)模型,原生脈絡長度為 256K(可透過 YaRN 擴展至 1M)。其 4-bit 量化版本運算需求約為 16 至 19GB 記憶體或視訊記憶體,可在 RTX 5080、RTX 4090 或具備 24GB 統一記憶體的 Mac 上本地執行。
該版本同時整合了多 Token 預測(MTP)以提升推論速度,加強巢狀物件的工具呼叫解析,並支援 Preserve Thinking 歷程保留開關與四段推理深度設定(xhigh、medium、low、none)。目前已在 Hugging Face 與 ModelScope 上架 GGUF 及 NVFP4 格式,支援於 llama.cpp 與 Unsloth Desktop 部署。
讀原始報導社群討論
社群對 Dynamic v3.1 的硬體適應力與 token 效率給予肯定,實測顯示 Q2_K_XL 搭配 Q8 KV cache 可完全塞入 16GB 顯存,單任務 token 消耗從 61.7k 顯著降至 46.5k,官方亦指出低 bit 額外消耗已從 +50% 壓減至 +5%。然而除錯表現微幅退步,且有用戶認為在 24GB 以下顯存配置中,ByteShape 能省出空間加載 DFlash2 kernel,使速度從 15–20 tok/s 飆升至 50+ tok/s,在運算瓶頸下更具優勢。