跳到主要內容
2026-11-06 日報
開發生態

Google 開源跨平台 GPU 推論引擎 ML Drift(Apache 2.0),取代舊版 TFLite GPU 委派

AI 前線單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

Google 發布開源跨平台 GPU 計算引擎 ML Drift,專為端側 AI 與機器學習推論設計,採用 Apache 2.0 授權,支援 OpenGL ES、OpenCL、Metal 與 WebGPU,目標是讓開發者不必處理各種 GPU 硬體與底層 API 的差異。ML Drift 是 LiteRT 的核心 GPU 加速引擎,開發者可用它建構自訂的圖形渲染與推論執行環境,應用範圍涵蓋傳統電腦視覺、音訊與深度處理,以及生成式 AI。 相較於舊版 TFLite GPU 委派,ML Drift 採用張量虚拟化實現統一著色器,支援可擴充的自訂運算子,並原生支援五維張量,無需以版面配置技巧繞過。它也針對 Arm、Intel 與高通的 GPU 做了硬體專屬最佳化。桌面端方面,ML Drift 透過 Chromium 的 WebGPU 實作 Dawn 將推論支援擴展至 Windows 與 Linux,macOS 則保留原生 Metal 後端。 Google 以 Gemma 模型在開發者級工作站上測試,稱其記憶體開銷比 llama.cpp、MLX LM 等框架低 12%;並表示 ML Drift 已透過 Chrome、YouTube Shorts、Google Photos、Meet 等應用在數百萬台裝置上運行。Google 另提供的應用數據包括:YouTube Shorts 的分割特效在 Android 與 iOS 上平均幀延遲最多降低 40%;Google Photos 的計算攝影與影像分割流程最多快 2 秒;Adobe Lightroom 與 Photoshop 的部分 AI 修圖功能效能最多提升 30%;Snapchat 在 Android 上的 ML 人臉與風格特效延遲降低 30%,因而能採用更大的擴散模型。這些數據皆出自 Google 或合作方陳述,尚未見獨立第三方驗證。 有開發者質疑 ML Drift 與 Apple Core ML 在新款 iPhone 上的延遲與記憶體表現相比如何,但 Google 目前未提供對比數據。 隨著 ML Drift 發布,Google 將停止更新舊版 TensorFlow Lite GPU 委派,並建議為維持與既有模型的相容性,遷移至 LiteRT ML Drift GPU 加速器。應用開發者可直接使用該加速器;GPU 與系統工程師則可透過底層 C++ API 建構自訂 GpuModel 計算圖並撰寫自訂著色器。
讀原始報導

背景

ML Drift 在 GitHub 上的專案頁將其定位為高效能、跨平台的 GPU 加速推論引擎,專門用於端側機器學習,並能執行包括大型生成式模型在內的高負載 AI/ML 工作。該專案託管於 Google AI Edge 的 GitHub 組織(google-ai-edge)下。

來源