開發生態
Together AI 推出免費 GPU 分散式快取 TSA:熱讀取達 3.4 GB/s、多節點出口頻寬降 200 倍
Together AI一手來源
核實資料不足
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
本次未取得足夠原文證據

Together AI 宣布在其 GPU 叢集免費推出分散式快取層 Together Storage Accelerator(TSA),解決跨雲端讀取物件儲存(如 AWS S3、Cloudflare R2)與 Hugging Face Hub 時的頻寬延遲與高額出口流量費用。TSA 由 Together 自研的 ASTRA(Accelerated Storage Transport & Retrieval Architecture)架構驅動,部署於叢集內每個 GPU 節點,並利用節點的 NVMe 儲存快取。使用者無需修改程式碼、SDK 或資料載入器,僅需設定環境變數 AWS_ENDPOINT_URL 或 HF_ENDPOINT 指向內部端點即可隨插即用。
在 us-central 區域單一 H100 節點(TSA chart 0.6.0)實測中,跨雲讀取 Cloudflare R2 上的 2 GiB 物件,未開啟 TSA 時速度為 143–169 MB/s(耗時 12.7–15 秒),TSA 熱讀取(warm read)速度提升約 20 倍至 3.0–3.4 GB/s(耗時 0.64–0.72 秒);讀取 5 KB 與 2.4 MB 檔案時,延遲分別從 320 ms 與 680 ms 降低至 5 ms 與 8 ms,延遲減少 60 至 80 倍。首次冷讀取的效能損耗控制在直接下載的 5% 以內。在 200 個節點下載同一 70 GB 檢查點(checkpoint)的情境下,來源端僅需擷取 1 次而非 200 次,使出口流量降低 200 倍,並可抵抗上游服務中斷或限流。TSA 目前已在 Together GPU 叢集免費上線,並相容 Together AI 正在內測的資料中心 S3 物件儲存 T4。
讀原始報導