跳到主要內容
2026-11-10 日報
研究與評測

LingBot-Touch 以潛在預測取代重建做觸覺預訓練,1K 小時資料下觸覺轉影片召回率達 32.1%

Reddit r/MachineLearning單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

Robbyant 團隊(據 Reddit 貼文稱)發表 LingBot-Touch,這是一款以 JEPA 方式進行自監督訓練的觸覺編碼器:它預測被遮蔽接觸區域的潛在表徵,而非重建原始感測器訊號。論文在相同資料與相同模型大小下,與 MAE、VAE 重建模型對照。觸覺轉影片的 top-5 召回率在 1K 小時資料時,JEPA 為 32.1%,MAE 為 5.6%,VAE 為 4.4%;提升到 4K 小時後,JEPA 達 49.3%,MAE 仍低於 9%,VAE 則降至 3.1%。作者解釋,觸覺片段大多是接近零的背景,重建損失可以在不學到任何接觸資訊的情況下下降。 設計上有兩點值得注意:遮蔽比例在 300 步內從 40% 線性升至 80%,因為一開始就高遮蔽會遮掉稀疏訊號中所有接觸的觸元,並導致梯度爆炸;另外,磁性、壓阻式與視覺觸覺三種感測器,透過標準化指尖座標與 5D RoPE(時間、手指、三維位置)輸入同一個 Transformer。 在 26 項真實機器人任務、4 種策略的測試中,凍結編碼器的特徵在 104 組策略與任務組合中有 89 組得分最高。在預訓練未見過的磁性手上,LingBot-VLA 分數從 57.21 提升至 75.04。Tiny 模型在約 4K 小時後趨於持平,Small 模型仍持續進步,因此作者認為更大的模型與更多資料是下一步。 目前程式碼與權重已公開,但此消息僅來自單一 Reddit 貼文,尚未經獨立驗證。
讀原始報導

背景

LingBot-Touch 是 Robbyant 公開的觸覺表示學習模型,能透過在潛在空間中進行遮罩預測,把磁性、壓阻式與視覺觸覺三種感測訊號學成統一的表示。其架構使用各感測器專用的 tokenizer,搭配共用的 Transformer 處理,GitHub 上釋出的推論版本提供凍結的目標編碼器,以及擷取觸覺特徵與其時空位置的工具。

來源