跳到主要內容
2026-08-19 日報
前瞻與傳聞

據報騰訊開源 27B GUI 代理模型 UI-Mate,基於 Qwen3.6 支援跨應用操作

Reddit r/LocalLLaMA單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

據社群消息指出,騰訊已在 Hugging Face 開源 GUI 代理基礎模型 UI-Mate-27B。該模型基於 Qwen3.6-27B,採 Apache-2.0 授權,專為跨應用程式與作業系統的長程任務設計。 UI-Mate-27B 透過觀察即時截圖並對可見狀態進行推理,輸出結構化的滑鼠與鍵盤動作(相容於 `pyautogui`),而非單純的座標重播。其動作空間涵蓋滑鼠、鍵盤、滾動、等待、使用者互動與任務完成。 模型支援兩種模式:「通用電腦使用」可根據自然語言指令與截圖執行任務;「示範引導電腦使用」則能從單次成功示範中擷取工作流程應用於新任務。在示範模式下,模型會將示範視為指引,若介面內容或狀態改變,會根據即時畫面重新規劃。 訓練過程包含監督式微調(SFT)與在可執行 GUI 環境中的線上強化學習(RL)。此外,該專案提供相容於 OpenAI 的 serving 與客戶端介面。
讀原始報導

背景

圖形使用者介面(GUI)代理程式能透過視覺感知並與介面互動,但過去單靠監督式微調往往難以處理長期的任務執行問題。騰訊推出的 UI-Mate-27B 基於 Qwen3.6-27B 模型,透過結合線上強化學習,讓 AI 能跨應用程式與作業系統執行複雜的鍵盤及滑鼠操作。

來源