模型發布
Liquid AI 發布 LFM3 系列 2B 級模型:採三混合架構與單一主幹,涵蓋全模態並支援 256K 上下文
HuggingFace Blog一手來源
核實資料不足
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
本次未取得足夠原文證據

Liquid AI 發布新一代基礎模型 LFM3 系列,以 17 億參數(1.7B)基底模型 LFM3-1.7B-Base 為單一主幹,衍生出涵蓋文字、視覺、音訊、全模態(Omni)與決策任務的六款 2B 級端側模型。架構採用 24 層三混合(Tri-hybrid)設計,包含 13 層門控短卷積(卷積核大小由前代 3 增至 7)、5 層滑動窗口注意力(256-token 窗口)以及 6 層全域注意力,並導入逐頭門控注意力抑制量化離群值,搭配 Partial RoPE 與 Sandwich norm 穩定數值。
LFM3-1.7B-Base 歷經 22T tokens 預訓練,包含 3.5T tokens 強化代理軌跡與工具呼叫的 mid-training,上下文長度擴展至 256K。在 8K 上下文環境下,推論速度比 LFM2 快 25%;文字模型在 4-bit 精度下僅佔約 1 GB 記憶體,全系列模型皆可在單張 GPU 上完成客製化微調。硬體架構搜尋覆蓋樹莓派 5、智慧型手機、高通 Hexagon NPU、筆電、CPU 與 GPU 等 14 種軟硬體組合。
多模態方面,LFM3 導入兩款自研編碼器:164M 參數視覺編碼器計算量比前代採用的 SigLIP2 降低 3 倍,能將每對採樣影格壓縮為單一切片以支援視訊輸入,FLOPs 較 Qwen3.5-2B 視覺編碼器減少 2.2 倍;全因果音訊編碼器使首字延遲(TTFT)低至 50 ms,搭配新型音訊詞元化器 LiquidCodec,在 Apple M4 Max 單 CPU 執行緒上可達 87 倍即時串流語音解碼。
在評測表現上,LFM3-1.7B 較前代 LFM2.5-2.6B 減少 35% 參數但效能更優,於 WebArena-Verified 基準測試得分由 3.02 升至 38.42,在瀏覽器與商務應用代理任務的長程表現超越 Qwen3.5-9B。
讀原始報導