研究與評測
Google 發布 Android Bench 2.0 評測長週期任務:改採連續評分,Claude Opus 5.5 以 32% 通過率居首
AI 前線單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
據報導,Google 發布評估 Android 開發中 AI 模型與代理的基準測試框架 Android Bench 2.0,新增長週期任務(LHT)、基於代理的評估機制以及連續評分機制。評測任務從既有程式碼庫的增量修改,擴展至需工程師耗時數天至一週才能完成的長週期工作,包括升級相依項目、新增功能、從零建構應用以及將跨平台應用轉換為 Android 應用。
Android Bench 2.0 將評估方式由過去的二元「通過或失敗」改為連續評分系統,綜合評估功能性、視覺保真度與防回歸表現來計算完成率,並針對偏離指示或結構約束施加客觀扣分。評測結果顯示,AI 撰寫新程式碼的表現優於重構現有程式碼,在 Java 轉 Kotlin、以 Ktor 替換 Retrofit 或引入 ViewModel 層等確定性轉換任務表現出色;但面臨缺乏依賴注入圖等執行期驗證、破壞性框架變更或未公開函式庫時仍常遇阻,跨平台應用移植至 Android 的最高完成率也僅達 80%。
新版儀表板收錄了 Gemini 3.8 Flash、Gemini 3.7 Flash、OpenAI GPT-6、Anthropic Fable 5.1、Kimi K3 與 Qwen 3.8 Max 等模型。目前排行榜由 Claude Opus 5.5 以 32% 的 LHT 通過率位列第一,GPT 6 Astra 則以 28% 通過率居次。
讀原始報導背景
Android Bench 是一套評測大型語言模型(LLM)在 Android 開發任務表現的基準測試框架,旨在評估 AI 理解行動端程式碼庫的能力。該基準先前推出的初始版本,主要側重於評估模型在權限、導航及網路連線等 Android 最佳實踐情境下對現有程式庫進行增量修改的水準。