微軟開源 Scope 評測平臺，檢驗 AI 程式代理是否正確使用 SDK、API 與 MCP 工具

據 iThome 報導，微軟開源 AI 程式開發代理評測平臺 Scope，可讓 GitHub Copilot、Claude Code 等代理執行指定任務，檢查其是否依照文件正確使用軟體開發套件（SDK）、應用程式介面（API）及相關工具。報導指出，即使最後產出的程式能正常運作，也不代表代理使用了預期工具，代理仍可能選錯 API、忽略文件重點，或在遇錯後無法完成工作。 開發團隊可設定任務完成標準並提供起始程式碼，讓不同代理執行相同任務。Scope 會記錄每次使用的 AI 模型與代理版本及工具設定，修改文件或工具後可重新測試，並分辨錯誤是偶發或反覆出現。平臺可設定多項檢查條件並安排相依關係，例如須先成功建置，才檢查 SDK 初始化與整合測試；條件達成情形由大型語言模型評估，並保留代理操作紀錄與工作目錄快照以供追查。 報導同時指出，代理結果即使設定相同仍可能每次不同，自動判斷也可能出錯，因此微軟建議反覆測試並由人員檢查紀錄。Scope 需由使用者自行部署，提供網頁介面，並可透過命令列工具與 API 整合至開發流程。專案採 MIT 授權，原始碼已公開於 GitHub，目前仍屬研究預覽階段。