模型發布
騰訊發布 770B MoE 大模型 Hy4,首度加入視覺理解與電腦操作並將開源
中央社 科技單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據

中國騰訊混元發布新一代大語言模型 Hy4,據中央社引述騰訊網報導,模型總參數為 770B,採混合專家(MoE)架構,權重將於近期開源。Hy4 首次引入視覺理解能力,可識別圖像細節、分析複雜圖表,並結合推理完成視覺數學任務;同時首次支援電腦操作(Computer Use),能結合命令列與圖形介面執行任務。騰訊表示,已針對 Blender、CAD 等專業軟體,以及需跨應用協作的長程任務進行專項訓練。此外,模型重點強化指令遵循、長文本理解與長程 Agent 能力。騰訊另針對基金研究、證券分析與量化策略等金融場景,構建數千個工作空間與上萬個訓練任務;前端與遊戲開發方面則強化複雜互動、狀態管理,並適配 UE、Unity、Godot 等引擎。混元團隊亦坦言,Hy4 與頂尖閉源模型仍有較大差距,將持續擴大預訓練與後訓練規模以縮小差距。
讀原始報導背景
混合專家架構(MoE)是一種把稀疏激活特性明確化的設計。研究指出,在 Dense Transformer 的 FFN 層中,對任意輸入只有約 5% 的神經元被顯著激活,其餘計算相對冗餘。MoE 則讓模型依輸入只啟用部分專家,以減少無謂的運算。