模型發布
Hugging Face Transformers v5.22.0 正式支援 Mistral Large 4:1T 參數、52B 活躍、1M 上下文
GitHub huggingface/transformers一手來源
核實資料不足
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
本次未取得足夠原文證據
Hugging Face transformers v5.22.0 新增對 Mistral Large 4(代號 Le Chonk)的支援。依官方發布說明,這是 Mistral 迄今最大、能力最強的模型,為原生多模態的 Mixture-of-Experts 架構,總參數約 1T,每個 token 啟用約 49B 參數(含嵌入與輸出層約 52B),據稱在 Mistral 位於歐洲的自有資料中心、以 3,800 張 NVIDIA Grace Blackwell GPU 從頭訓練。模型採 128 個路由專家(每 token 啟用 4 個)加 1 個共享專家,上下文長度 1M,輸入支援文字與圖像、輸出為文字,視覺編碼器沿用 Pixtral 風格、可處理不同尺寸與長寬比的圖片。推理強度可按請求設定為 low、medium、high(預設 high),官方建議複雜代理任務用 high、快速對話用 low、日常用 medium;取樣建議 temperature=1.0、top_p=0.95。功能方面支援原生函式呼叫、JSON 輸出與嚴格 JSON Schema 約束。官方稱其在網路安全、金融與法律等任務表現突出,視覺定位能力在開放權重模型中達最佳水準,並宣稱在視覺定位上超越部分前沿閉源模型,但這些為官方自述,尚未經獨立評測證實。授權方面採 Mistral Ecosystem Open-Weight License(修改版 MIT),可用於商業與非商業用途,但以模型即服務(MaaS)方式營運需另向 Mistral 取得商業授權。同一版本另含 FP8 量化模型可用於 LoRA 等適配器訓練的更新,據稱將 MoE 層反向傳播的峰值記憶體由約 28.9 GiB 降至 2.8 GiB(8k token 情境)。
讀原始報導背景
混合專家模型(Mixture of Experts,MoE)是一種機器學習技術,會使用多個專家網路(learners)把問題空間劃分為同質的區域。一篇綜述論文指出,MoE 已展現優異的效能與廣泛的應用前景。新聞中提到的 Pixtral 風格視覺編碼器,源自 Pixtral 12B 所採用、從頭訓練的視覺編碼器,能以影像的原始解析度與長寬比輸入圖片。