跳到主要內容
2026-11-18 日報
研究與評測

智源聯手北大清華等發布 PhysCapBench:評測影片描述物理資訊,涵蓋三大領域 1,500 段序列

AI 科技評論單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

智源研究院聯合逆矩陣、北京大學、清華大學及北京航空航天大學,推出跨領域影片描述物理資訊評測基準「悟界·PhysCapBench」(PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning),統一度量影片 Caption 對物理規律與動態資訊的覆蓋與保真度。該基準涵蓋第三人稱場景、第一人稱操作與手持夾爪示範三大領域,共收錄 1,500 段影片序列(各領域 500 段,多視角示範以單次互動為序列單位),並由 7 名專業標註人員依據影片證據,從 7 個維度檢驗動作、接觸關係與狀態變化。 在下游驗證方面,以物理描述作為條件生成影片時,第一人稱操作領域的感知差異指標 LPIPS 相對下降最高達 30.88%,PVCS 下降最高達 28.09%。在機器人策略學習上,透過 Training Instruction Upsampler 於訓練階段增補物理過程描述,在 RoboTwin 2.0 子任務實驗中,π0.5 模型於 40 個測試場景的成功率由 37.5%(15 次)提升至 45.0%(18 次),提高 7.5 個百分點,並在 RoboTwin 與 RoboDojo 多任務評估中帶動四種策略模型平均成功率提升。該基準目前已開源相關程式碼與資料集。
讀原始報導