模型發布
美团龙猫开源 LongCat-2.5:1.6 萬億總參數、支持百萬上下文,採 MIT 協議
iThome 中國單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
據 IT之家報導,美团龍貓於 11 月 2 日發布面向長程智能體任務的原生多模態模型 LongCat-2.5,並於 11 月 9 日宣布正式開源。模型採 MIT 協議,支持商用推理部署與二次訓練,無需額外授權。官方稱,在複雜代碼庫開發、完整項目構建、Visual Coding 與專業辦公場景中,端到端交付能力均有提升。
模型總參數 1.6 萬億,每個 token 激活約 480 億參數,支持一百萬上下文。針對顯存與帶寬受限的國產算力芯片,團隊在模型架構、芯片適配與部署策略上進行了協同優化。
在視覺方面,模型支持 Visual Coding、創意設計與 3D 等任務。其視覺表征層的改造在於:將視覺信號表示為多層級離散 token,與文本一樣由主幹模型統一處理,而非外掛視覺模塊。具體做法包括:對原生分辨率視覺特徵進行殘差向量量化,逐級補足細節;視覺 token 可離線預計算並緩存,減少在線計算量並使分布式訓練負載更均衡;視覺碼本與主幹聯合訓練,視覺與文本共享同一套主幹參數。
推理方面,LongCat-2.5 採用 W4A4 高效方案,將專家權重與激活同時量化到 4 bit,並通過原生 INT4 矩陣乘法單元執行計算。
模型權重、技術博客與 API 平台已公開,連結見 Hugging Face(meituan-longcat/LongCat-2.5)與官方博客。以上性能描述均來自廠商介紹,目前僅有單一來源報導,獨立評測結果尚待觀察。
讀原始報導背景
殘差向量量化(Residual Vector Quantization)能把連續的表示轉換成多層級的離散 token 序列,各層由粗到細逐步補足資訊,這類編碼結構在不少資料領域都存在。W4A4 指把權重與激活值都量化到 4 bit 的推論方式,COMET 研究提出細粒度混合精度演算法,可把多數激活壓到 4 bit,且精度損失很小。