完整日報

AI 日報 2026-10-17

67 則值得知道的變化

要聞

3 則

在 DeepSeek 與 Kimi K3 實測能效提升 2.8 至 5.7 倍，硬體導入適應性壓縮的 NVFP4 新引擎。

該模型採 MoE 架構並支援百萬 token 脈絡，經 NVFP4 量化後透過 Thunderbolt 5 RDMA 串接，4 台設備生成速度超過 36 tokens/s。

採在策略殘差學習與 CUDA Graph，ORL 於 H100 單請求達 1,298 tokens/s，較 DFlash 投機解碼快 1.74 倍且維持準確度。

1 則

透過將查詢投影至 60 節點流形求解矩陣，短提示詞延遲僅 1.5ms 且準確率達 100%，4 層級聯平均 p50 延遲為 46ms。

7 則

在 Threadripper 測試中讀取吞吐量暴增 23 倍至每秒 3.04 億次，但維護者隨後發現補丁在檔案擴展時可能回傳未寫入資料。

方案鎖定受監管產業，允許企業在內部直接運作授權模型或經混合架構串接服務，避免將敏感原始碼外傳至第三方雲端。

新版透過 QuickJS 沙箱執行 JavaScript 降低 Token 消耗，並具備崩潰後精確斷點恢復能力，標誌著該專案向長時 Agent 基礎設施延伸。

平台配合 vLLM 等引擎進行集群管理，具備 PD 分離與三級快取，宣稱極限吞吐提升約 285%，並已適配 Qwen 等模型。

系統涵蓋數百萬 SKU 與數十億筆歷史資料，改採 Google ADK、MCP 與 LiteLLM 統籌治理，不再由各應用重複修補。

正式發布時程推遲至 11 月，核心開發者強調此舉是受惠於審查工具精進揪出隱患，而非開發過程草率所致。

專案擬於德州建月產十萬片量產廠，將邏輯晶片與封裝同廠整合，但官方尚未公開條款且雙方未正式簽約。