Google DeepMind 發表手語轉文字模型 SL2T，首發登陸 Pixel 11 支援 Gboard 輸入

Google DeepMind 於 12 日宣布推出大規模多語種手語轉文字（SL2T）翻譯模型，首次將手語 AI 整合至消費級產品。該模型將驅動 Pixel 11 智慧型手機上的 Gboard 與 Live Transcribe 應用程式，初期支援美國手語（ASL）轉英語，讓聽障用戶能以手語代替打字進行搜尋、傳訊或與 Gemini 互動，未來將擴展至更多裝置與語種。 SL2T 模型使用超過 50 種手語、逾 10 萬小時的資料進行聯合訓練（其中約四分之一為 ASL），放棄傳統使用的「中間註釋（glosses）」，直接將空間資訊翻譯為文字。為保護隱私，裝置端會透過 MediaPipe Holistic 模型追蹤使用者的姿態特徵點，僅將幾何座標傳送至伺服器進行翻譯，原始影片會立即丟棄。 在 FLEURS-ASL (sd-test) 基準測試中，SL2T 取得 70 BLEURT 的零樣本（Zero-shot）成績。為符合實際應用，團隊針對降低串流延遲、防止非手語輸入產生幻覺進行最佳化，並特別支援 10% 的左撇子用戶以及持手機時的單手手語操作。