Reflection推出501B開源模型Beam:具1M上下文,居全美開源評測第二
查得來源差異
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
經查核,報導提及之模型規格(501B/23B、1M 上下文、Apache 2.0 授權)、Artificial Analysis 評測成績(30 分、全美開源第二)與社群獎勵額度(1 萬美元)均獲一手資料支持;惟架構細節中「每層含 256 個專家」與官方技術文件矛盾,官方說明全模型 52 層中前 3 層為 dense MLP,僅其餘 49 層為 MoE 架構。
Reflection 聯手 Hugging Face 推出開源模型 Beam(採 Apache 2.0 授權),為總參數量 501B、啟用 23B 的 MoE 模型,具備 1M 上下文視窗。
Hugging Face 官方部落格證實 Beam 為開源 MoE 模型,具備 501B 總參數與 23B 啟用參數,支援 1M 上下文視窗。
501B-parameter MoEs LLM with 23B active
查看原始出處
Beam 全模型設有 52 層且每層皆含 256 個專家。
官方架構說明指出,全模型 52 層中前 3 層為稠密(dense)結構,其餘 49 層才是每層 256 個專家的 MoE 結構,並非每層皆含 256 個專家。
The first 3 layers use a dense SwiGLU MLP.
查看原始出處
根據 Artificial Analysis 數據,Beam 在 Intelligence Index 獲得 30 分,在美國開源權重模型中排名第二。
評測機構 Artificial Analysis 官方數據確認 Beam 得分為 30,位列美國開源權重模型第二。
scores 30 on the Artificial Analysis Intelligence Index, placing it #2 among US open weights models
查看原始出處
Reflection 提供總額 1 萬美元的 Hugging Face Hub 額度獎勵社群專案。
官方部落格載明 Reflection 提供總額 1 萬美元 Hub 額度,獎勵基於 Beam 建立的優秀社群專案。
give out $10,000 Hub credits
查看原始出處
這則事件的發展
來源
- Techmemetechmeme.com
- X @ArtificialAnlysx.com