跳到主要內容
2026-10-28 日報
研究與評測

智譜唐杰團隊曝光 GLM-Omni:視覺生成正確率 54% 但文字問答僅 14.57%,揭示多模態知識調用瓶頸

AI 科技評論單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

清華大學與智譜 AI 團隊(唐杰為通訊作者)發表最新研究,曝光內部多模態實驗模型「GLM-Omni」,深入探討統一架構在圖像生成與語言理解間的知識斷裂問題。社群傳聞該架構可能與 GLM-5.5 相關,但論文並未披露具體產品對應關係,官方亦尚未證實相關產品規劃。 架構上,GLM-Omni 以 GLM-4.1V-Thinking 預訓練模型為基底,接入基於 X-Omni 的離散圖像 Tokenizer。為排除預訓練記憶干擾,團隊建立包含顏色、形狀、空間排列、數字等 7 類任務的虛構世界「MagicWorld」,包含 350 條受控知識與 8,552 組訓練樣本,檢驗模型在圖像生成中習得的知識能否直接轉化為語言問答。 初始測試顯示,GLM-Omni 的平均視覺生成正確率達 54.00%,但文字回答僅 14.57%;在數字任務中,模型能畫對 72% 的球衣號碼,以文字詢問時正確率卻驟降至 2%。對照組 BAGEL(視覺 31.43%、文字 8.86%)與 SenseNova-U1(視覺 61.14%、文字 20.00%)亦呈現相同斷裂,SenseNova-U1 在號碼生成正確率達 88%,純文字回答卻為 0%。 為打通跨模態調用,研究團隊測試了兩種方法: 1. 圖文交錯對齊(Interleaved Alignment):在同一訓練序列中要求模型先生成圖像、再據此組織文字答案。GLM-Omni 的文字正確率提升至 26.86%(形狀任務升至 64%、空間排列升至 40%);消融實驗顯示,若屏蔽圖像重建損失,正確率即跌回 13.71%,證實圖像訊號確實輔助了語言調用。 2. 視覺思維鏈(Visual CoT):允許推理時先生成圖像作為中介、再識別作答。GLM-Omni 平均正確率推升至 41.14%,原先三款模型文字正確率皆為 0% 的數字任務,分別提升至 4%(GLM-Omni)、36%(SenseNova-U1)與 20%(BAGEL)。 不過,Visual CoT 需付出額外運算成本,若中介圖像生成錯誤亦可能誤導答案,且書籍標題等複雜文字任務在該機制下仍未見明顯改善。
讀原始報導
本期分類