研究與評測
NVIDIA 以 Dynamo 解決強化學習 Rollout 瓶頸:KV 感知路由、ModelExpress 增量權重與故障恢復
NVIDIA Developer一手來源
核實資料不足
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
本次未取得足夠原文證據

NVIDIA 發布技術部落格,說明如何用推論服務層 Dynamo 解決大規模強化學習(RL)訓練中的 Rollout 瓶頸。RL 訓練中,推論工作節點負責產生 Rollout(模型輸出、動作與環境互動的序列),框架據此計分並更新權重後,再把權重送回工作節點。文中指出三項限制:Rollout 完成時間不一致、相同任務的 prompt 重複計算、以及權重更新的新鮮度。
在架構上,Dynamo 位於 RL 框架與推論引擎之間,負責路由、工作節點管理、服務控制與遙測;RL 框架仍掌控最佳化、獎勵、樣本接受與權重刷新時機;ModelExpress 負責模型權重與產物的分發。
具體機制包括:(1) KV 感知路由,平衡 KV 快取重用與工作節點負載,減少重複計算與排隊等待;(2) ModelExpress 讓相容工作節點直接透過 NIXL 從叢集內其他 GPU 複製權重,並以增量權重(delta)傳輸取代完整檢查點,只傳送差異的壓縮表示,接收端依對應基礎版本重建新權重;(3) 故障恢復方面,Dynamo 偵測工作節點失效、將新請求導向可用節點,替換節點就緒後加入路由,支援符合條件的進行中請求遷移與平滑排空。
文章列舉的採用案例包括:Microsoft AI 用於後訓練期間的 RL Rollout 推論;CoreWeave 稱使用 Dynamo 與 ModelExpress 可將模型權重更新加速最多 15 倍;Cognition 用於 SWE-1.7 後訓練的工作節點管理與 Rollout 路由;H Company 稱可將平均訓練步驟時間減少最多 20%、GPU 小時減少最多 5%。另有 verl、NeMo RL、Slime、prime-rl 等開源框架整合。以上數據均為文中所引述之各方說法,未經獨立驗證。
讀原始報導