Together AI 聯手 IBM 與 NVIDIA，於 IBM Cloud 部署首批 NVIDIA B300 大型推論叢集

Together AI 宣布與 IBM 及 NVIDIA 合作，在 IBM Cloud 上部署專為企業級 AI 推論打造的大型叢集。該基礎設施採用 NVIDIA B300 GPU，並配備 NVIDIA Spectrum-X 乙太網路技術。 這是 IBM Cloud 上首個此類專用的大型推論叢集，Together AI 也是該叢集的首位客戶。在合作分工上，由 NVIDIA 提供晶片與網路硬體，IBM 負責雲端基礎設施，Together AI 則負責營運推論平台層。 官方數據顯示，Together AI 目前每月為超過一百萬名開發者提供數百兆（hundreds of trillions）個 token 的推論服務。此次擴充基礎設施旨在應對持續呈拋物線增長的運算需求，並為企業提供具備資料主權與成本效益的開源模型部署方案。