Together AI 推出免費 GPU 分散式快取 TSA:熱讀取達 3.4 GB/s、多節點出口頻寬降 200 倍
TSA 基於 ASTRA 架構並利用本機 NVMe,相容 S3 與 Hugging Face 且隨插即用,單次下載即可供全叢集節點共用。
67 則值得知道的變化
TSA 基於 ASTRA 架構並利用本機 NVMe,相容 S3 與 Hugging Face 且隨插即用,單次下載即可供全叢集節點共用。
透過延遲載入參數並相容前綴快取,支援在單次請求中由伺服器按需調取架構,或以客戶端檢索串接權限與自訂工具庫。
雙方將次世代架構引進雲端並整合 Nemotron 3.5,其中 GB300 推論成本較前代降低 35 倍,更將 AI 部署延伸至邊緣與 PC。
採用分區與 RaBitQ 壓縮技術降低記憶體開銷,需 PostgreSQL 18 以上並支援 1968 維向量,目前處於 Alpha 且未支援過濾搜尋。
Dynamo 以 KV 感知路由減少重複 prompt 計算,ModelExpress 以增量權重傳輸降低每輪更新開銷,並支援故障後快速補回產能。
據報導,此設計省去 2.5D 封裝中處理器與 HBM 並排的配置,改以垂直堆疊縮短資料路徑;目前僅見單一來源,細節與量產時程尚未確認。
此舉旨在將中國境內 AI 運算能量轉為對外服務,藉由專門建置的硬體設施向海外輸出模型推論 Token。
阿里透露旗艦晶片將優先保障模型訓練,百煉已基於國產晶片提供推論服務,未來推論需求亦將採購其他品牌國產晶片。
上市後 Anthropic 預估持有約 2,200 億美元現金及等價物,分析師認為其以營收支應的 9,000 億美元算力承諾尚可負擔。
此系統由多組 Codex 驅動的工作流組成,負責偵測並修復效能瓶頸,目標是讓 ChatGPT 維持快速回應。
案例涵蓋工廠數位分身、機器人抓放與 VR 互動,其中 Microduck 在 256 病房測試中 768 台有 766 台維持站立,數據來自開發者實測。
Quaise 以毫米波熔化岩石鑽探,宣稱未來每口井發電潛力最高可達傳統地熱井的 10 倍,黑曜石計畫建設成本約 3.5 億美元。
2029 年第一季由新格倫火箭發射搭載 TPU 的衛星,算力約等於一座資料中心機架;Google 今年 10 月已先行部署首顆 AI 伺服器衛星。
阿里財報電話會上,吳泳銘稱全球算力政策劇變,初步評估 2032 年超 20GW 的數據中心目標有下調可能,資本開支也可能降低。
Direct Stream 以低延遲傳輸雲端 GPU 渲染畫面,同時 Azure Local 擴展至 Jetson Thor 等邊緣設備,EY 實測採購分類準確率提升 55%、成本降至 1/15。
WebRTC 預設不重傳音訊,抖動緩衝也不等待補傳;作者估計 1 秒 Opus 音訊僅約 6 個 QUIC 封包,即可在需要前補齊。