研究與評測
Anthropic 以 Scion 取代 Git 管理單體倉庫:單日合併數從 2,500 增至 3 萬多,快取命中率超過 99%
AI 前線單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
據 InfoQ 報導,Anthropic 將其單體代碼倉庫從 Git 遷移至自研的 Scion 系統。Anthropic 於 10 月 13 日的工程文章中表示,單日合併變更數從 5 月約 2,500 個增至 9 月超過 3 萬個,增長約 12 倍;其 CI 系統每天約執行 2,500 萬次檢出,主分支歷史接近 100GB,壓縮後的工作副本超過 25GB。此前該公司已採用淺克隆、稀疏檢出、Promisor Remote、倉庫快照及數百個 Git 鏡像,但隨合併頻率提高,維運難度持續上升。
Scion 將提交、合併、變基、歷史與程式碼追溯查詢全部放在服務器端執行。變更集只記錄相對於第一個父變更集有變動的檔案,並以內容定址指標引用 Blob 儲存中壓縮的檔案內容;建立變更集與更新引用彼此分離,接收變更集不需跨服務器協調。歷史與追溯查詢所需的「派生數據」由服務器依父變更集遞迴計算,可預先或按需生成,且能獨立演進而不必修改客戶端。客戶端只保留容量受限的對象快取,虛擬化檢出按需實體化檔案,工具也能透過 API 查詢差異並執行部分寫入,無需檢出程式碼。
檢出時客戶端直接請求缺失的不可變樹與 Blob,不再協商自訂 Packfile。節點本地守護進程在任務間共享快取,並從區域快取取得資料;區域快取再向權威服務器索取,後者由 Spanner 與雲端儲存支撐。Anthropic 另強制規定各層的呼叫順序,以隔離故障,避免區域快取失效時大量請求壓垮權威服務器。
Anthropic 報告各層快取命中率皆超過 99%,CPU 與記憶體占用僅為先前 Git 鏡像的約 1/200,CI 與研究任務檢出速度提升兩個數量級。但這些數字是基於其內部工作負載,並非與 Git 的通用基準比較。Anthropic 也說明 Scion 不是通用的 Git 替代品,需要配套的程式碼審查、搜尋與 CI 系統,而這些均為高度客製化的實作。Anthropic 於 10 月 15 日更新中指出,Mononoke 與其 Bonsai 資料模型率先採用了 Scion 的許多技術;InfoQ 此前也報導過 Uber 的 GitFarm,其在不替換 Git 的前提下將操作集中至服務器端,Scion 則進一步改變底層資料模型。Anthropic 建議現有 Git 平台可引入完整的服務器端 API 與更高效的取得協議。整體而言,此案例提示架構師應重新審視計算應在何處執行,但 Scion 依賴服務器可用性,系統整合工作也相當龐大。
讀原始報導