跳到主要內容
2026-11-18 日報
研究與評測

GitHub 推出 Copilot Evals 公開預覽版,以 Vally 引擎評測自訂 Agent 與 MCP 工具

GitHub Changelog一手來源
尚未逐項核實

來源為發布方或研究資料;不代表所有主張已獲獨立核實。

GitHub 宣布 Copilot Evals 正式展開公開預覽,開放 Copilot Individual、Copilot Business 及 Copilot Enterprise 訂閱用戶使用。該功能旨在為專案中的技能(skills)、自訂 Agent 與 MCP(Model Context Protocol)工具提供可重複的測試流程,讓開發者在調整提示詞、模型或工具時,能檢視 Agent 行為並及時捕捉退化(regression)問題。Copilot Evals 底層採用具擴充性的本地評測工具 Vally 作為評測引擎。使用者可透過自然語言或輸入 /eval 指令建立評測,每次執行前均需手動確認,完成後可查閱各檢查項目的通過狀況、失敗原因,並對比修改前後的表現差異。目前支援三種環境:Visual Studio Code(從 Visual Studio Marketplace 安裝擴充套件)、Copilot CLI(依指引安裝外掛),以及 GitHub Copilot 應用程式(於 Customize 中加入 github/evals 市集安裝)。
讀原始報導