NVIDIA 發布 Cosmos3-H-Dreams，以臨床膽囊切除術影片訓練即時手術生成式模擬器，單張 RTX PRO 6000 即可互動運行

NVIDIA 發布 Cosmos3-H-Dreams，這是其先前 Cosmos-H-Dreams（基於 Cosmos-Predict2.5，針對 dVRK 桌面縫合任務）的延伸版本。新版改以 CMR Surgical Versius 平台的臨床膽囊切除術影片與機器人運動學紀錄訓練，據 NVIDIA 所知，這是首個以臨床膽囊切除術紀錄訓練、可支援即時運動學控制的生成式手術模擬器。模型以 Cosmos 3 為基礎，並透過 NVIDIA 的串流推論函式庫 FlashDreams 加速，可在單張 NVIDIA RTX PRO 6000 GPU 上互動運行。 模型基於 16B 參數的 Cosmos3-H-Embodied-Nano（在 Open-H-Embodiment 上預訓練），並以雙向教師模型專門針對膽囊切除術影片與運動學調整。取樣時鎖定左側 Cadiere 抓鉗與右側單極電燒鉤兩個可見且作用中的器械，並限制相機指令，以突顯器械驅動的互動。動作空間為 28 維，包含雙臂姿態與夾爪、能量控制、搖桿軸向與按鈕；訓練影像為 832×480，動作對齊 10 Hz 取樣率，但此取樣率與執行時的生成吞吐量不同。 訓練分為兩階段：先將教師模型在 24 幀（2.4 秒）上調整，再延長至 72 幀（7.2 秒）以學習較長序列的手術動態。接著以蒸餾將雙向教師轉為可分塊因果生成的學生模型，採用因果教師強制（causal teacher forcing）與 Self-Forcing，讓學生在自身生成的上下文上訓練並由教師與學習式評論者引導，以抑制互動推演中的誤差累積。第一版學生模型每區塊使用四個去噪步驟；第二版兩步模型是另行訓練而非單純減少取樣步數，官方表示兩種檢查點讓開發者在畫質與推論成本間取捨，步數越少速度越快但畫質下降。 在長序列串流中，整合模組採用改編的 FadeMem，用於壓縮不斷增長的 key/value 快取，與 Self-Forcing 分別處理「模型如何從自身生成歷史學習」與「歷史如何在串流中儲存」兩個問題。官方另展示以 VR 頭戴裝置錄製之器械動作，驅動同一初始畫面產生不同延續，用以檢驗器械是否跟隨控制、組織是否對互動有一致反應，以及解剖與器械外觀能否長時間保持一致。文章同時提供四步與兩步檢查點，並說明可針對自有資料與控制器進行調整。 需注意，官方強調視覺真實感只是驗證起點，並不代表生物力學上的準確性；本文為單一來源報導，相關效能與臨床表現尚未經獨立驗證。