CodeScene 案例：AI 智能體三週重構 30 萬行 C 程式碼，Code Health 5.6 升至 10.0

據 CodeScene 發布的案例研究，一組 AI 智能體在三週內重構《街頭霸王 III：三度衝擊》開源反編譯專案的 30 萬行 C 程式碼，涉及 726 個檔案、2,903 次提交與 252,055 行修改；程式庫的 Code Health 評分則由 5.6 升至 10.0，實際 token 成本約 4,000 美元。這些結果目前屬於單一案例研究，官方以外尚無佐證來源。 流程使用 CodeHealth MCP Server 提供可最佳化的確定性品質分數，並以回放軌跡測試框架逐幀比對回滾狀態雜湊，檢查每次修改後的系統行為。智能體沒有套用固定重構目錄，而是在過程中累積出包含 22 個方案與 82 條輔助說明的重構手冊；方案涵蓋 Extract Function、Guard Clauses，以及針對該程式庫的 Shared Index Range、Action Parameter 和 Uniform Step Table。降低 Code Health 評分的失敗嘗試也被記錄下來。 團隊最終以 Claude Opus 搭配 Claude Code 執行大部分工作，並稱這個組合在辨識與記錄逐步形成的模式上明顯優於以 Sol 搭配 Codex；使用較小模型時，檔案評分經常停在疑似局部最優點。這些修改透過 54 個拉取請求合併到一個分支版本的 main 分支，但不是合併至外部知名開源專案的正式主分支。 CodeScene 創辦人 Adam Tornhill 將成果形容為自己投入大型系統開發 30 年來首次看到的「大規模超人類 AI 表現」。支持者認為，格鬥遊戲的逐幀回放比單純通過測試套件提供更高的正確性保障；質疑者則指出，案例只在開源反編譯程式碼上進行，尚未證明能適用於產生營收的生產程式碼。另有意見認為，將範圍不同的迴圈或呼叫函式不同的控制結構視為重複，可能混淆程式碼重複與知識、意圖重複，也難以分離模型能力與測試框架的影響。 目前仍未確認非功能性行為是否改善，包括影格率、記憶體使用量與輸入延遲；團隊正引入效能專家。Webb 也表示，回放框架以提交前鉤子執行，部分故障可能在被觀察前已修正，因此是否能捕捉細微的影格時序回歸仍沒有明確答案；架構品質同樣未被衡量。 CodeScene 預估這次改善可能讓 AI 引入的缺陷減少約 70%、token 浪費減少約 45%，但兩項數字來自早期研究推算，並非本案例的實測結果。後續團隊將與隆德大學合作，讓學生分別在 Code Health 評分 5.6 與 10.0 的功能等價版本上使用前沿模型實作功能，以比較成本與品質。