Akka 測試規格驅動 AI 移植：65 個開源專案中 57 個程式碼或效能有改善

Akka 以 65 個開源專案測試一套基於規格說明（spec）的 AI 輔助軟體移植流程，評估項目包括規格結構、上下文、模型與工作量設定、自動化驗證、token 消耗與執行效能。據 Akka 報告，首輪共耗時 99.3 小時、消耗 94.1 億 token，65 個專案中有 57 個在程式碼行數或效能上有所改善。 實驗分為兩階段：先分析全部 65 個專案，生成規格並為每個專案實作至多 10% 的功能；再依系統特性與可量化結果，挑出 10 個專案完整實作。交付流程循環包括需求探索、規格定義、移植、基準測試與最佳化。其中 Claude 搭配 Akka Specify 負責實作、測試與審查，並以通用基準測試執行器比較測試結果、程式碼規模與延遲。 Akka 的發現是：包含聲明、證據與型別化行為的結構化規格，能改善首次實作的品質；上下文檔案若缺少跨元件決策的內容，效果較差。後續研究方向包括介面列舉、測試資料匯入、溯源追蹤、差異測試與對抗性測試。 模型比較方面，Sonnet 平均每項移植耗時 61 分鐘，Opus 為 120 分鐘，但 Opus 的 token 消耗約少 40%。提高工作量設定會增加消耗，卻未帶來持續的效率提升。 驗證採用原始單元測試與整合測試，並由審查人員檢查序列化、安全性、錯誤處理、個人識別資訊（PII）、冪等性與架構邊界。每次移植失敗暴露的新問題，Akka 都會加入防護措施，但額外的退出條件也會增加移植成本。 效能結果因專案類型而異：應用程式、框架與函式庫普遍提升，基礎設施與工具的效能中位數則有所下降。Akka 報告 Dify 效能提升 143333 倍，但所比較的工作負載並不相同，該數字不宜直接解讀；Netflix Metaflow 則慢了約 100 倍。以上數據均為 Akka 自述，目前僅見單一來源，尚未經獨立驗證。