開發生態
Google 推出 LiteRT Tensor API:純 C++ 跨平台建構端側計算圖,Mac 實測比 Apple MLX 快 1.5 倍
AI 前線單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
據報導,Google 推出輕量級 C++ 介面「LiteRT Tensor API」,讓開發者能以 C++ 逐個運算子搭建計算圖,直接在終端裝置建構、客製與最佳化機器學習模型。該 API 旨在解決傳統原生開發痛點,過去程式碼與 Metal、OpenCL 或 Vulkan 等特定後端緊密耦合,跨硬體需重複改寫,且 CPU、GPU 與 NPU 間串接資料需大量人工同步;透過 LiteRT Tensor API,同一份計算圖無需重寫即可跨硬體加速器運行,並具備前處理、推論與後處理間的零拷貝緩衝區互操作性,同時支援直接從 Hugging Face 的 .safetensors 檔案等檢查點載入權重。
該 API 亦特別針對 AI coding agent 設計,使代理能透過生成 C++ 程式碼建構、修改、驗證及基準測試計算圖。在跨平台基準測試中,Google 將同一份 SAM 2 模型的 C++ 程式碼分別於 macOS(Metal)、iOS(Metal)與 Android(OpenCL)運行;在 MacBook Pro 上的測試顯示,SAM 2(fp16,圖像編碼器加遮罩解碼器)運行速度比 Apple MLX 快約 1.5 倍。此外,編碼代理能將 SAM 2 的逐幀決策移入計算圖內,並改寫 WebGPU 上引發 CPU 回退的操作;Arm AI 總監 Laurence Moroney 指出,在 WebGPU 512×512 解析度下,經代理疊代最佳化後影格率從不足 10fps 提升至 30fps 以上。Google 後續規劃增加原生 ML Drift 後端支援、更多 NPU 友善運算子、自動全圖量化,以及擴展動態形狀支援。
讀原始報導