研究與評測
EchoWM 全模態世界模型發布:支援 6-DoF 連續導航並同步生成 720p 影音
HF Daily Papers一手來源
尚未逐項核實
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
EchoWM 是一個全模態世界模型,能夠在遵循連續的 6-DoF(六自由度)導航軌跡時,同步生成 720p 影片、環境音、音樂與語音。
該模型的互動設計以「攝影機意圖」為核心:在第一人稱場景中指定觀察者運動;在第三人稱場景中,則從資料中學習攝影機與角色間的動態關係,無需特定視角的控制器。系統將離散指令與連續姿態映射至共享的相對 6-DoF 軌跡,並透過資料集等級的校準來維持異質資料間的運動幅度。
為聯合學習影音生成與軌跡控制,團隊建構了互補的資料引擎,採用漸進式訓練,隨後進行自迴歸後訓練以支援長時程生成。評測顯示,EchoWM 在公開基準測試中具備優異的軌跡跟隨能力與視覺品質,並能穩定維持長時程的影音同步。
讀原始報導背景
世界模型(World model)是一種機器學習系統,能建立環境的內部表徵並預測其對應動作的變化,協助 AI 代理進行規劃與推理。6-DoF(六自由度)則代表物體在三維空間中,包含三個方向的平移(前後、上下、左右)與三個軸向旋轉的完整運動自由度。
來源
相關主題