跳到主要內容
2026-10-31 日報
模型發布

Google 開源多模態嵌入模型 EmbeddingGemma 2:以 768 維統一五模態,參數量 2.7 億至 7.4 億

AI 前線單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

Google 推出基於 Gemma 4 架構的多模態嵌入模型 EmbeddingGemma 2,採 Apache 2.0 授權並於 Hugging Face 開源釋出。該模型專為行動裝置與筆記型電腦等端側硬體最佳化,用於本機搜尋、檢索增強生成(RAG)、分類與分群任務。 EmbeddingGemma 2 能將文字、程式碼、圖像、影片與音訊五種模態映射至統一的 768 維嵌入空間,使不同媒體類型能直接進行跨模態語意比對。模型採模組化設計,開發者可依需求僅載入特定編碼器,參數量從純文字與程式碼的 2.7 億(270M),擴展至完整多模態架構的 7.4 億(740M)。Google 指出,該版本在程式碼搜尋與技術內容檢索表現上顯著優於初代 EmbeddingGemma。 該模型支援套娃表示學習(MRL),可將嵌入向量截斷至更短維度以降低儲存需求。以 bfloat16 精度儲存 100 萬個 768 維向量約需 1.5GB 記憶體,截斷至 128 維後僅需 250MB,容量降至原本的六分之一。不過檢索表現會隨之折損:128 維下文字任務可維持約 90% 品質,但圖像、影片與語音檢索表現會降至約 75%。社群實測反饋亦提醒,模型推論時任務前綴(如「title: none | text: 」)為強制必填項以避免召回率下降;若使用 MRL 截斷,必須先切片再執行 L2 正規化,若先在 768 維正規化後截斷會導致向量範數出錯。
讀原始報導

背景

套娃表示學習(Matryoshka Representation Learning, MRL)是一種在不同粒度編碼資訊的技術,能讓單一嵌入向量彈性適應下游任務的運算資源限制。該技術允許系統依需求將向量截斷為較短長度以降低儲存開銷,在儲存空間、檢索速度與語意品質之間取得平衡。

來源