跳到主要內容
2026-11-06 日報
模型發布

百度開源文心5.5 Flash Base:280B總參數MoE基座模型,權重未經後訓練

Hacker News綜合 4 家報導多家報導
核實資料不足

多個報導來源提及此事;未必是彼此獨立的證據。

本次未取得足夠原文證據

百度釋出 ERNIE-5.5-Flash-Base 基座模型權重並開放於 Hugging Face。模型為稀疏 MoE 架構,總參數 280B、每個 Token 激活 14B,以 33.5T Token 從頭預訓練,訓練上下文最長 128K,微調與推理階段支援 1M Token。釋出的是預訓練結束時的檢查點,尚未經過中期訓練或後訓練,供開發者做領域適應、指令微調與強化學習研究。 架構方面,模型共 43 層 Transformer,隱藏維度 4096、64 個注意力頭。注意力採用 Latent-Gated Sparse Attention:43 層中約每 7 層保留一層 MLA 以存取完整上下文的 token 級資訊,其餘層採用 HCA,將每 128 個 token 壓縮為一個快取項目,只需快取完整上下文層所需的一小部分。MLA 層以 DSA 稀疏注意力計算,每個查詢只關注 top-k 位置,使單查詢成本不隨上下文增長。另有低秩門控注意力(閘控投影的權重減少 75%)與虛擬頭注意力(VHA)兩項修改。 據 AI 科技評論與機器之心報導,百度稱在知識、推理、數學、代碼、多語言與長上下文等基準測試中,於同尺寸模型中取得 SOTA,並超過 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 等模型;此為百度自報的評測結果,尚未經獨立驗證。The Decoder 指出,該模型在推理、代碼與長上下文任務上,與 DeepSeek V4 Flash 等同尺寸開放基座模型競爭。經後訓練的版本據報導將於之後推出。
讀原始報導

社群討論

社群對 ERNIE 5.5 Flash Base 的態度大致正面,多數人肯定 base model 釋出的價值,認為能讓企業依自身規範微調,並有人提到實測參數規模(280B 總參數、14B 啟用)與 Qwen、DeepSeek 相比的表現。主要分歧在授權限制:有人指出歐盟、英國與南韓被排除在外,多數人推測是為了規避當地 AI 法規的法律風險,而非針對競爭。另有留言質疑 base model 的實用性與對齊問題,認為開放給所有人自由調整未必能降低風險;也有人認為名稱與品牌形象已顯老舊。

來源