研究與評測
Apple提出RayRoPE位置編碼
Apple ML
Apple ML 發表 RayRoPE，為多視角 Transformer 提供具幾何感知與 SE(3) 不變性的投影射線位置編碼。該方法利用射線上的預測 3D 點與查詢視角投影座標計算多頻率相似度，並可在位置不確定時解析計算期望編碼。RayRoPE 在新視角合成與立體深度估計上持續優於其他位置編碼方案，在 CO3D 的 LPIPS 指標取得 15% 相對改善，亦可納入 RGB-D 輸入。
讀原始報導背景
RayRoPE 是一種面向多視角 Transformer 注意力的位置編碼方法，用於處理具有已知相機姿態的多張輸入影像，目標包括唯一標示影像區塊，並實現具 SE(3) 不變性的多頻率相似度計算。由於既有絕對或相對位置編碼無法同時滿足這些需求，RayRoPE 改以射線上的預測 3D 點及查詢視角的投影座標納入場景幾何，並可解析計算位置不確定性下的期望編碼。