跳到主要內容
2026-11-22 日報
模型發布

Hugging Face Transformers v5.24.0 發布,新增 Inkling 2 Mini、Apertus 1.5、Dory、HY4-VL 等多款模型支援

GitHub huggingface/transformers一手來源
尚未逐項核實

來源為發布方或研究資料;不代表所有主張已獲獨立核實。

Hugging Face Transformers 框架發布 v5.24.0,本版新增多款模型支援。 Inkling 2 Mini 是 Thinking Machines Lab 的多模態模型,接受文字與圖像輸入、輸出文字,是 v5.23.0 加入的 Inkling 2 Small 的小型版本。它只有 24 層解碼器(Small 為 48 層),以迴圈機構補償:第 6 至 17 層會執行三次,每次迴圈層透過學習的訊息傳遞機制,將前一輪的殘差混入注意力與混合專家(MoE)的輸入。解碼器隱藏維度為 2304,每個 token 從 128 個專家中路由到 8 個。另有研究用檢查點 TML-d24-varloop-research,架構相同但支援可變迴圈次數,次數少則快、多則品質較好。兩個檢查點都含 NVFP4 與 MXFP8 量化層,載入時會反量化。 Apertus 1.5 來自瑞士 AI Initiative,接受文字、圖像與音訊輸入、輸出文字,是在 Apertus 語言模型上加入 EMU3.5 視覺 tokenizer 與 WavTokenizer 音訊 tokenizer。輸出詞表只有文字 token,因此不支援圖像或音訊生成。 WavTokenizer 將 24 kHz 單聲道音訊以單一碼本編碼為離散 token,依檢查點不同為每秒 40 或 75 個 token,並可還原音訊;提供語音、音樂/通用音訊與統一三種檢查點,不支援訓練編解碼器。其中每秒 40 token 的版本即是 Apertus 1.5 所用的音訊 tokenizer。 Dory 是 NVIDIA 的迴圈(潛在遞迴)語言模型,採用 normalized-GPT 架構,交錯使用滑動視窗與全域注意力層,共享區塊重複套用,推論時可調整迴圈次數以權衡速度與品質。 HY4-VL(Hunyuan V4 Vision-Language)結合 HYV4 MoE 文字主幹與視覺編碼器,支援圖文與影片文字生成,採動態解析度輸入與多模態旋轉位置編碼(mRoPE),視覺 patch 合併器沿用 HunYuan-VL,設計基於 Qwen2-VL。 Omnilingual ASR 是 Meta FAIR 的多語語音辨識模型系列,涵蓋超過 1,600 種語言,提供 CTC 與音訊語言模型兩種頭,各有 300M、1B、3B、7B 四種規模。音訊語言模型可選填語言代碼(如 "eng_Latn"),通常能改善辨識品質。 Lara Mini 是 Translated 推出的多語基礎語言模型,總參數 7.2B、每 token 啟用 0.6B,混合線性時間遞迴層、滑動視窗注意力與少量全域注意力層,後接細粒度 MoE。權重以 CC BY-NC-SA 4.0 授權(限非商業用途),置於需申請的 gated 儲存庫。 SarvamMLA 是 Sarvam AI 105B 參數 MoE 語言模型 Sarvam-105B 的架構,結合多頭潛在注意力(MLA)與稀疏 MoE 路由:128 個路由專家每 token 啟用 8 個,另有 1 個共享專家,採 sigmoid 路由與分組 top-k 選擇,並以 YaRN 旋轉位置編碼支援至 131K token 上下文。架構與 DeepSeek-V3 相同,僅配置不同。
讀原始報導