研究與評測
Datadog 推出 SRE 故障排查專用模型 Scout,AlertEval 得分接近 GPT-6.1 Sol high 但成本僅三分之一至八分之一
AI 前線單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
Datadog 發布 Scout,一款專用於排查生產環境問題的模型,運行於其 AI SRE 產品 Bits Investigation 內,可接收告警、查看遥测数据並推測故障根因。目前僅向 Datadog 工程師與少數客戶開放封閉預覽。
據公告,此模型的主要動機是成本。排查故障常需多次呼叫模型,Bits 會反覆查詢、分析並決定下一步檢查項目,通用模型成本過高,無法對每則告警都執行。Datadog 希望 Bits 在工程師收到告警的同時就開始排查。
在 Datadog 自家的 AlertEval 基準測試中(使用真實告警、歸檔遙測與工程師撰寫的故障說明,由 LLM 評判器比對專家報告,滿分 100),Scout medium 得分與 GPT-6.1 Sol high、Claude Opus 5.5 high 相近,推理預估成本為其三分之一至八分之一。Datadog 另稱,xhigh 檔位的 Scout 效果與 Claude Fable 5.1 xhigh 相當,成本約為後者四分之一。這些成本數字是相對 Scout medium 單次排查的比例,官方未公布實際售價。
技術上,Scout 以 GLM-5.3 Flash 為基底,使用由歷史案例模式生成的模擬事件進行強化學習後訓練,Datadog 表示訓練資料不含客戶資料。訓練中模擬 Bits 工具,包括跨日誌、指標與追蹤的搜尋,以及程式碼、部署與功能旗標檢查。技術報告指出,初期僅以最終結論設定獎勵,導致模型傾向少做推斷、提前結束排查;團隊之後改為同時考量正確性、探索與證據支持,並在部分訓練中移除工具或縮短可用時間,以避免模型記住固定排查路徑。
在公開數據集 SREGym(90 個故障場景)的第二輪評估中,Scout 在 medium、high、xhigh 檔位分別解決 71、79、80 個案例;GPT-6.1 Sol xhigh 解決 82 個。所有測試(含對比模型)皆由 Datadog 自行完成,尚無獨立第三方驗證。獨立 AI 資訊帳號 AGTP 亦指出 AlertEval 尚未經獨立測試,並要求提供審計軌跡,說明模型考慮過並捨棄了哪些證據。
同業方面,AWS DevOps Agent 整合多個監控產品的遙測與程式碼、部署紀錄;Honeycomb 的 Canvas Agent 以共享畫布執行查詢並留下證據,尚未推出專用 SRE 模型;Splunk AI SRE 與 New Relic SRE Agent 則延伸至修復環節,可生成程式碼改動或修復建議,但均要求人工審批。
Datadog 計畫在模擬案例中加入更多故障類型,長期目標是讓 Bits 執行修復操作。目前預覽版僅負責排查、診斷與建議復原方案,最終變更仍由工程師執行。
讀原始報導背景
SREGym 是一個公開的基準測試,用來檢驗 AI 智慧體能否解決正式環境中的 SRE 問題,共收錄 90 個問題。其題庫涵蓋 AIOpsLab 與 ITBench 的題目,並加入作業系統層級故障等新題型。