跳到主要內容
2026-08-26 日報
研究與評測

EchoWM 全模態世界模型發布:支援 6-DoF 連續導航並同步生成 720p 影音

HF Daily Papers一手來源
尚未逐項核實

來源為發布方或研究資料;不代表所有主張已獲獨立核實。

EchoWM 是一個全模態世界模型,能夠在遵循連續的 6-DoF(六自由度)導航軌跡時,同步生成 720p 影片、環境音、音樂與語音。 該模型的互動設計以「攝影機意圖」為核心:在第一人稱場景中指定觀察者運動;在第三人稱場景中,則從資料中學習攝影機與角色間的動態關係,無需特定視角的控制器。系統將離散指令與連續姿態映射至共享的相對 6-DoF 軌跡,並透過資料集等級的校準來維持異質資料間的運動幅度。 為聯合學習影音生成與軌跡控制,團隊建構了互補的資料引擎,採用漸進式訓練,隨後進行自迴歸後訓練以支援長時程生成。評測顯示,EchoWM 在公開基準測試中具備優異的軌跡跟隨能力與視覺品質,並能穩定維持長時程的影音同步。
讀原始報導

背景

世界模型(World model)是一種機器學習系統,能建立環境的內部表徵並預測其對應動作的變化,協助 AI 代理進行規劃與推理。6-DoF(六自由度)則代表物體在三維空間中,包含三個方向的平移(前後、上下、左右)與三個軸向旋轉的完整運動自由度。

來源

本期分類
相關主題