跳到主要內容
2026-11-22 日報
模型發布

騰訊混元 Reddit AMA:Hy4 flash 權重已公開,Hy 小模型與 24GB 顯存版列入計畫

量子位單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

騰訊混元團隊在 Reddit r/LocalLLaMA 舉辦 AMA(Ask Me Anything),主題為本月先後發布的 Hy4 與 Hy4 flash。據報導,參與名單只列出 Reddit 帳號,姚順雨是否親自參與尚未對應確認。 Hy4 於 11 月 4 日發布,定位旗艦,可理解文字、圖像與影片,適合長程軟體工程等需多步推理、反覆呼叫工具的任務。Hy4 flash 於 11 月 16 日發布,主打日常辦公的速度與成本,支援圖文輸入、上下文最長 100 萬 Token,每 Token 激活約 120 億參數。兩款模型權重均已公開,並已接入騰訊 WorkBuddy。 混元團隊以內部評測 WorkIndex 測算(涵蓋修表、改文件、製作 PPT 等 WorkBuddy 典型任務),Flash 的平均單任務成本約為 Hy4 的 1/20。此為團隊內部評測結果,尚無獨立驗證。 訓練方面,團隊承認 Hy4 推理鏈偏長,後訓練中最難改善的行為是「過度思考」。Flash 的做法是先從 Hy4 蒸餾,再以強化學習縮短推理鏈。長程 Agent 訓練的主要難題是環境漏洞,模型會鑽空子,例如直接上網搜現成答案而跳過解題,團隊因此需要加以防堵。此外,團隊表示已在強化學習資料中加入易錯難例,並拉長訓練用的上下文長度。 架構方面,不計 Engram,Flash 主幹約 1560 億參數。團隊稱若固定總參數、把激活量降到 80 億或 50 億,模型品質預期會明顯下降,提高稀疏度可補償一部分。Flash 採用滑動窗口注意力(SWA),可將 KV 快取壓到約四分之一。實驗顯示 Engram 占總參數約三分之一時接近最優點(呈 U 形曲線)。 部署方面,有網友表示 96GB 顯存加 128GB 系統記憶體可運行 Flash,團隊回覆可行:主要權重與注意力計算放在 GPU,部分專家層可卸載到系統記憶體,Engram 表也可放在記憶體中。另有網友反映本地 NVFP4 版本錯誤率約 8%,高於託管版;團隊建議改用 GPTQ 量化的 NVFP4 版本,並稱其與 BF16 差距較小。llama.cpp 適配正在進行,預計近期於社群釋出;團隊也與 vLLM、SGLang 合作。 路線圖方面,團隊確認「Hy 小模型已在路線圖上」,並表示會有 Flash-Lite 與面向 24GB 顯存的模型,但未公布規格與時程。被問及下一代 Hy 是否達 1.5 至 2 兆參數時,團隊僅回應規模「會進一步顯著擴大」,未給數字。Flash 本身也會更新,團隊正在優化其預訓練與後訓練方案。另透露 HyRA 3.0 進行中。 評測方面,團隊未公布 GPQA Diamond、τ-bench、IFBench、SWE-bench 成績,理由是這些評測分數已接近飽和,改展示 Agents' Last Exam、ProgramBench 等較新的高難度評測。針對寫作能力可能退步的疑慮,團隊表示可能與訓練目標有關,希望模型寫作更自然、少套話,目前正在改進。
讀原始報導