模型發布
地平線發布視訊幾何模型 LoFT:採雙循環 Transformer 聯合預測深度與相機姿態,以 9.6 億幀資料訓練
iThome 中國單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
地平線機器人實驗室發布原生視訊幾何基礎模型 LoFT(Looped Foundation Transformer for Video Geometry)。據官方介紹,該模型專為連續視訊建模,能從單純的 RGB 視訊中聯合預測相機姿態、內參以及逐幀深度與信心度,用以恢復場景的 3D 結構,為機器人空間感知、環境理解與具身學習提供幾何基礎。
架構方面,LoFT 採用雙循環 Transformer 設計:第一循環透過局部與全局時序注意力聚合跨幀資訊,逐步擴大時間感受範圍;第二循環顯式更新相機姿態與內參,並將相機狀態回饋至下一輪特徵計算,藉此結合跨幀視覺特徵與相機狀態迭代最佳化。
在訓練規模上,研發團隊搭建三維重建資料處理與訓練平台,使用約 297 萬條有效訓練序列、共 9.62 億幀影像記錄進行規模化訓練,涵蓋模擬與真實、動態與靜態場景。
評測方面,官方公布其在 SpatialBench(涵蓋 12 個資料集、98 個連續視訊場景)、ClassicBench(7 個經典視訊重建基準)與 VRBench(涵蓋機器人、自駕及通用場景)三套評測中,相較於 VGGT-Ω 與 DA3-Giant 等模型,在多項深度估計指標上取得 SoTA 成績。該技術預計應用於機器人第一人稱視訊、動態街道與室內操作等場景的運動軌跡與幾何重建。
讀原始報導相關主題