Modal 稱繞過 Kubernetes 擴展限制：不到一分鐘建立 100 萬個沙箱

據 AI 前線報導，Modal 工程師 Colin Weld 與 Connor Adams 介紹一套重新打造的沙箱基礎設施，目標是支援數百萬個並發沙箱，以及每秒建立數萬個沙箱。相關說法目前來自單一報導，官方尚未提供其他佐證。 兩人表示，Kubernetes 等傳統容器編排系統高度依賴集中式協調與強一致性狀態，在大規模部署時，排程演算法與中央持久化儲存 etcd 的負載會隨節點和 Pod 數量增加。Pod 與節點也會多次向 etcd 寫入資料，在建立或替換速率很高時可能造成問題；etcd 也不原生支援在同一鍵空間內分片。若要沿用這種架構，則需重寫或替換 etcd，並將排程演算法平行化。 Modal 的做法是停止全域協調，讓排程更接近負載平衡。每個工作節點不再依賴中央資料儲存作為唯一資料來源，而是各自維護自身狀態；系統也以一組可平行執行的排程伺服器取代單一串行排程器。排程伺服器選定工作節點後，會透過 RPC 直接要求該節點建立沙箱；節點若有可用資源便接受，否則拒絕請求。 報導稱，這套架構目前僅剩一個瓶頸：所有工作程序都會把狀態發布到 Redis Stream。不過，負載測試顯示，工作程序數量遠超過 10 萬時仍可運作。基準測試中，Modal 在不到一分鐘內建立 100 萬個沙箱，從啟動到執行程式的中位時間低於 0.5 秒。 Hopsworks 執行長 Jim Dowling 在 LinkedIn 上表示，規模每增加一個數量級，就會出現新的技術問題；報導據此指出，Modal 團隊經過多次設計迭代，才朝每秒可靠建立 5 萬個沙箱的目標前進。Amazon Web Services 首席 AI 工程師 Alex Jones 則認為，Modal 的關鍵不是擴展 Kubernetes，而是理解其限制後繞過整個系統。他表示，執行層需要能在幾毫秒內建立隔離邊界的架構，但協調層涉及多代理工作流的共享記憶體與重疊安全邊界，仍可能需要 Kubernetes 類系統。