模型發布
開發者以 190 行純 JAX 實現 DeepSeek-V3:涵蓋 MLA 與 MoE,並在 Mac 驗證無輔助損失平衡
Hacker News單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
開發者 Vaibhaav Tiwari 釋出開源專案 deepseek-v3-jax,僅用 190 行純 JAX 程式碼(不依賴 Flax、Equinox 或 PyTorch)完整實作 DeepSeek-V3 技術報告的核心架構。該實作包含多頭潛在注意力機制(MLA,將每層每個標記的快取從 480 壓縮至 144 個數值)、解耦旋轉位置編碼(Decoupled RoPE)、DeepSeekMoE(1 個共享專家搭配 16 個路由專家,每標記選取 Top-4)、無輔助損失負載平衡(Auxiliary-loss-free balancing)、序列級平衡損失(α = 1e-4),以及損失權重 λ = 0.3 的多標記預測(MTP)。模型參數以原生陣列字典表示,所有模組皆以函式形式收錄於 deepseek_v3.py。
作者在一台配置 24 GB 記憶體的 MacBook Air M5 上,使用 207 本公版偵探小說資料(共 2,169 萬標記、8,192 詞表 BPE 分詞器)預訓練總參數 3,620 萬(每標記啟動 1,360 萬參數)的模型。訓練採用 bf16 計算搭配 fp32 主權重,耗時約 2.6 小時完成 12,000 步(約 9,800 萬標記、4.5 個 epoch),推論中位數速度達每秒 10,700 標記,驗證損失自第 250 步的 5.02 降至 3.51。
消融實驗顯示,在第 2,000 步時,啟用偏置平衡時各專家負載介於 5.7% 至 6.9%(均勻理想值為 6.25%),關閉時則極端分散於 0.09% 至 18.6%,而兩者的驗證損失皆約為 3.92(3.921 對比 3.923),印證了論文主張偏置微調能在不犧牲效能下平衡專家負載。專案已釋出 138 MB 的 v1.0 檢查點權重與資料集,環境綁定 jax-metal 0.1.1 與 jax 0.4.34,亦支援 CPU 測試。
讀原始報導背景
DeepSeek 是一家開發開源權重大型語言模型(LLM)的人工智慧公司。該團隊先前提出 DeepSeekMoE 架構,旨在推進混合專家(MoE)模型的專業化,研究顯示 DeepSeekMoE 16B 僅需 40.5% 的計算量即可達到與 7B 密集模型相當的效能表現。
社群討論
社群高度讚賞作者以約 190 行純 JAX 從頭實作 DeepSeek V3 核心架構;作者分享在 24 GB 記憶體的 MacBook Air M5 上以 jax-metal 訓練 3,620 萬(36.2M)參數模型,執行 12,000 步約耗時 2.6 小時。另有開發者回報成功在 AMD RX 7600 XT 16GB 上藉由 ROCm 跑通端到端訓練並分享避免 GPU 當機的環境變數設定,亦有留言建議改用通用資料集以利橫向對比成效。
來源
相關主題