Together AI 發表持續編譯系統 TKCC,宣稱推論吞吐量最高提升 2.6 倍並刷新 InferenceX 低延遲紀錄
TKCC 以常駐引擎與多代理並行實驗,宣稱 24 小時內優化完成,實驗吞吐量較基線代理系統高出 252 倍。
46 則值得知道的變化
TKCC 以常駐引擎與多代理並行實驗,宣稱 24 小時內優化完成,實驗吞吐量較基線代理系統高出 252 倍。
一起事件中攻擊者以遭竊 API 金鑰在 8 小時內呼叫 LLM API 逾 50 萬次,受害組織承擔近 100 萬美元費用。
FOX 以 Factory Manager Agent 協調各專業代理處理 AOI 警示、返修與根因分析;新品虛擬試產可將上市時間縮短最多 40%。
JTok-M 在 MoE 實驗中達相同損失的訓練算力約為底座 65%,但推理延遲增加約 7%;xHC 相對 mHC 額外吞吐開銷約 1.3%。
據報導,HBC 實測能源效率超越 HBM4 逾 5 倍;商用版將由兩層 DRAM 堆疊升級為四層,首款 Dragonfly AI250 平台預計明年上半年提供樣品。
演講者稱 Harness 在 ARC-AGI 上帶來約 18% 提升,並主張其設計的表達力決定系統上限,此說法目前僅見單一來源報導。
在不訓練、不損失品質的前提下,SpecPilot 將單請求加速比由原系統的 4.46× 提升至 10.87×,批次情境則由 1.94× 提升至 3.93×。
融合稀疏注意力與 KDA/MoE 等層級 kernel 後,記憶體下限僅 6.1 ms,剩餘延遲多來自向量引擎指令鏈與核心內等待;程式碼已開源。
首個示範案位於喬治亞州,OpenAI 與 Georgia Power 簽署 25 年供電協議、總供電 3.2 GW,並承諾依電網需求暫時降載。
OpenAI 的 Pando 讓推送中位數延遲降低近 5 倍,Anthropic 的 Scion 使基礎設施 CPU 與記憶體需求降至 1/200,兩家目前都不對外提供。
知情人士稱,客戶未來四個月僅能拿到數萬顆;輝達估2027年全球產能僅約300萬顆,中國訂單已超過此上限。
據報導,本次發行涵蓋美元與歐元雙幣別,花旗與摩根士丹利籌辦投資人會議;一週內科技大廠合計發債規模逾 600 億美元。
總價以現金 6 億美元計,另有最高 1.75 億美元或有對價綁定營收里程碑,標的為 IVR 供電技術開發商。
德州原為美國增長最快的數據中心市場,州長 9 月 21 日下令暫停許可,民主黨當選者並傾向全面禁令,但地方與工會阻力可能讓落實困難。
合約原定五年、透過東南亞資料中心提供最多 10 萬顆先進 AI 晶片,為騰訊最大海外算力租賃;美國官員表達關切後隨即取消。