跳到主要內容
2026-11-16 日報
研究與評測

Meta FAIR 與 NYU 訓練逾 200 個多模態模型:視覺編碼器預訓練非必要但需專屬參數,內嵌架構降低 13% 首字延遲

Reddit r/MachineLearning單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

Meta FAIR 與紐約大學(NYU)發表預印本論文,在算力預算嚴格對齊的前提下,從零訓練逾 200 個多模態模型(MLLM),拆解視覺編碼器的架構效益。研究骨幹模型涵蓋 0.6B 至 6.4B,主實驗採用 Qwen3-1.7B 與 4B 配備 0.4B 視覺參數,並在 Cambrian 的 16 個 448 px VQA 與 12 個語言基準上評測。 論文指出,獨立的視覺預訓練並非必要:採用對比學習、自監督及標題生成等四種目標預訓練的編碼器,在相同總算力下最多僅能打平與 LLM 一同從零訓練的編碼器;即便將 MetaCLIP 預訓練時間延長 6.5 倍使 ImageNet 線性探測準確率從 80.4% 升至 84.4%,對 VQA 亦無助益。 然而,視覺專屬參數不可或缺。無編碼器架構在 0.6B 到 6.4B 各尺寸皆落後,需約 3 倍算力才能追平;若將編碼器參數移給 LLM,僅能增強文本能力而無法改善 VQA。此外,研究團隊提出名為「In-fusion」的替代架構,在 LLM 前 8 層加入零初始化的專屬注意力投影與 FFN 權重(不供文字 token 使用),在 1.7B 至 6.4B 規模下效能與獨立編碼器相當,且首字生成時間(Time to First Token)縮短約 13%。在 1.7B 規模下,前 8 層視覺專屬分支的 VQA 分數達 45.0,高於獨立編碼器的 44.4、共享參數的 42.3 與後 8 層配置的 35.1,該結論在對預訓練 LLM 進行中途訓練時同樣成立。
讀原始報導

背景

視覺理解能力是多模態大型語言模型(MLLM)的核心基石,現行架構普遍透過視覺編碼器處理並整合視覺符元(visual tokens)。然而,各研究團隊在模型設計上,對於是否需要獨立的視覺編碼器及其預訓練流程仍存在顯著分歧。

來源

本期分類
相關主題