研究與評測
阿里等機構發表 Co-Design Bench:最佳程式代理 GPT-6 Astra 完全解決率僅 26.4%
The Decoder單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

來自阿里巴巴與多所亞洲大學的研究團隊發表論文,提出針對程式代理(Coding Agent)的新型評測基準「Co-Design Bench」。該測試取材自實際開發中因多次修改提示詞或被迫回滾變更的棘手情境,要求代理依據文字、圖片、音訊、影片或文件輸入,修改既有的網頁應用程式。
在受測的十款模型中,表現最佳的 GPT-6 Astra 平均可滿足約 70% 的任務需求,但僅有 26.4% 的任務能夠完全正確交付,意味著近四分之三的任務仍需人工手動修復。整體排名上,Claude Opus 5 與 Qwen3.8-Max 分居第二與第三,Grok 4.6 敬陪末座;但在大型全面重構任務中,參數規模較小的 Qwen3.8-27B 則躍升至第二位。
研究指出,現有評測基準因模型具備自我執行與除錯能力而出現飽和(得分普遍超過 99%),但當任務同時交織版面、設計、互動與內容等多維度改動時,所有受測模型的表現皆急遽下滑。增加運算量並未改善此劣勢,例如 GLM-5.2 在小幅修改任務中消耗了 GPT-6 Astra 近 6 倍的 token,成績依然落後。
此外,代理執行程式碼的環境(harness)對成績影響顯著。Qwen3.8-27B 在大型重構任務中的得分依環境不同出現 75% 與 56% 的落差,模型間的勝負排名亦隨之變動,研究團隊因此建議企業在評估與採購時應將模型與執行環境成對測試。該基準評分採雙重 AI 裁判機制,由第一名裁判在瀏覽器實測功能,第二名裁判複查是否寫死數值或偽造畫面;目前測試限制為單次固定輸入,未包含多輪追問與中途人工介入情境。
讀原始報導