Google 與 Meta 開源原生 TPU 後端 TorchTPU,取代 PyTorch/XLA 並支援單行程式碼遷移
該後端可讓模型開箱直行並以 8,192 顆 TPU v7x 規模擴充,舊版 PyTorch/XLA 則預計於 11 月 15 日正式封存。
55 則值得知道的變化
該後端可讓模型開箱直行並以 8,192 顆 TPU v7x 規模擴充,舊版 PyTorch/XLA 則預計於 11 月 15 日正式封存。
該專案採管理叢集與工作負載叢集分離架構,以 NICo 為唯一底層提供者,目前處於預覽階段且尚未預設啟用 API 認證。
新架構依據即時定價、快取與 11 項因子分發模型,不僅無效工具呼叫降低 4 倍,且 9 成 Agent 輪次維持同模型以保護快取。
傳統收集與廣播方式使通訊酬載翻倍,新架構僅傳輸來源與目標分片的重疊區域,開源實作已釋出於 NCCL 擴充套件。
為解決機率性輸出的脆弱問題,架構從 LangGraph 圖控制轉向在沙箱中生成並反覆驗證程式碼,以確定性迴圈取代人工編寫工作流。
相較 1.3B Transformer 需 2.1TB 快取,該架構以 25MB 狀態達成百萬 Token 檢索準確率 99.4%,訓練速度快 2.7 倍。
支援 hermes 與 opencode 等 harness 及軟體建置任務,並同步公開即時展示訓練損失的 Space 頁面。
在美國期中選舉多州否決資料中心擴建後,該承諾適用於未來自營園區,除公開用水與噪音數據外,也呼籲政府直接立法。
結合 NVFP4、FlashInfer 融合核心與低精度注意力,單張 B200 運行 2048 解析度 Base 模型 T2I 總延遲降至 14.7 秒。
全案規劃總供電容量達 2.7GW 並採氣冷散熱,Google 承諾自負基建成本以降低社區負擔,預計 2027 年開始供電。
期中選舉與公投結果反映民眾對興建大型設施的強烈反對,地方政府審查趨嚴恐促使超大規模業者轉移部分 AI 基礎設施。
因微軟變更網路設計且免受罰款,IREN 單季 AI 雲端營收增至 2 億美元,帳上 GPU 硬體資產翻近三倍達 58.2 億美元。
平台已落地內部 20 多個業務,結合雲端隔離沙箱、審查模型代批與雙環 RSI 機制,實現門禁即時修復與流程自動改寫。
此舉為微軟重新評估其數十億美元雲端合作夥伴關係的一環,雙方自 2023 年簽訂的協議到期後不再續約。
整合連續批次處理與投機解碼技術,支援自 S3 與 Hugging Face 串流模型至 GPU,並涵蓋多款架構。
微軟因舊代 GPU 效益降低逐步關閉租賃資源;甲骨文則強調舊款晶片續約價逆勢漲 20%,且仍握有 OpenAI 等客戶訂單。
面對晶片出口限制,中國模型開發商月之暗面正尋求海外算力管道,擬藉由歐洲新興雲端服務商遠端調度運算資源。
現有供電已達標準但需改裝散熱系統;此方案具審批程序少且阻力小優勢,可緩解大型資料中心的興建延期瓶頸。