DeepSeek 開源生產級推論框架 DeepInfer:支援 V4.1-Flash 並適配 SM100 與昇騰 950
採 Apache 2.0 授權釋出,整合 FlashMLA 核心與 DSpark 推論技術,並提供 deepseek-recipe 重現官方 API 處理行為。
56 則值得知道的變化
採 Apache 2.0 授權釋出,整合 FlashMLA 核心與 DSpark 推論技術,並提供 deepseek-recipe 重現官方 API 處理行為。
最新釋出 0.2.0 版並採 Apache 2.0 授權,內建 ATen 核心與 XLA 快取,支援 Llama 與 Qwen 等模型。
共用指令、工具定義與上下文可保留快取半天,針對 dots 等整日運行的常駐代理降低輸入成本。
Qwen3.6-35B-A3B 在 M3 Ultra 上解碼速度由 9.4 提升至 61.3 tokens/s,Wan2.2 VAE 解碼峰值記憶體由 270 GiB 降至約 8 GiB。
Phonon 推論框架支援 10 種以上後端(CPU、GPU、NPU),多數以 Rust 實作,並開放社群基於此二模型與程式碼進行延伸開發。
三款模型參數分別為 1.9M、6.9M、18.2M,皆為英文模型,設計目標是讓語音生成留在 CPU 上運行,不占用 GPU 顯存。
僅需一張二手 K80、8 GB 主機即可運行 Qwen3.6-35B-A3B,但長提示的首字延遲明顯偏長,預填階段是硬體弱點。
該架構將光學引擎移至矽中介層以取代傳統有機基板,並展示 8 個光波長、單纖頻寬達 256 Gb/s 的 DWDM 技術。
以手持夹爪採集時即時比對模型預測與人類動作,定向補錄模型會失敗的片段;相較真機 HG-DAgger,單位有效數據採集時間縮短約 5.63 倍。
在 128 張 H100 訓練 118B-A14B MoE(128K 上下文)時,吞吐量較 Dual Chunk all-gather 基線提升 7.3–11.0%。
目前僅支援 Qwen3.8-27B。發文者公布的表格中,EAGLE-4 較原始推論快 3.59 倍,高於 DFlash 2 的 2.80 倍、DSpark 的 2.57 倍與 MTP 的 2.22 倍。
AI 部門營收達 75.6 億美元佔比過半,涵蓋 Cursor 工具、Grok 機器人及 1.7 GW 算力的雲端基礎設施。
亞馬遜第二季自由現金流降至負 76 億美元;8 月起每月湧入 30 至 50 億美元伺服器,內部坦言現金消耗恐持續兩年。
供應鏈消息指出 Rubin 主力仍採 12 層 HBM4,但 8 層產品每 Gb 價格可能反比 12 層高 10% 至 20%,記憶體成本壓力持續升高。
據大摩報告,Maia 300 是本次 OCP 最重要的新進展,目標邁向數 GW 規模;鴻海、緯穎可能擔任 ODM,ZQD 售價預估較 QD 高約 20 至 30 美元。
2027 年一年的新增量,約等於 2024 年底前全球(不含中國)歷年累計總產能;衛星影像顯示逾 24 GW 已進入施工後期。
中國 AI 算力流向高度集中,短劇與影音生成消耗量已達軟體研發兩倍多,引發「一半算力在造爽劇」的輿論討論。
峰會中,達摩院公布的下一代 C950A 目標性能為現有 RISC-V 車規產品的 5 倍,中國 RISC-V 主控晶片市場預估 2030 年達 2194 億元。
此為 Latent Space 訪談 SF Compute 執行長 Evan Conrad 的內容摘要;材料未提供具體交易量或價格數據,僅描述其實體交割與算力流動性的理念。