跳到主要內容
2026-11-04 日報
研究與評測

HuggingFace 推出 Model Integration Contracts:以小型 fixture 在 PR 階段攔截 UMT5 解碼器偷看未來 token 的訓練漏洞

HuggingFace Blog一手來源
核實資料不足

來源為發布方或研究資料;不代表所有主張已獲獨立核實。

本次未取得足夠原文證據

HuggingFace 披露,Transformers 於 2026 年 7 月 30 日為 T5 啟用 PyTorch 的 scaled dot-product attention(SDPA),導致 UMT5 解碼器可看見未來 token,訓練時能偷看應預測的答案。此漏洞未造成崩潰,並在主線留存近兩個月,直到 9 月 28 日才修復。團隊重播歷史提交後,發現一個在 CPU 上執行的小型 UMT5 模型於每個受影響提交都會標記異常,標籤 log-probabilities 與已審核基準相差 1.22,訓練損失約差 0.20。 團隊提出 transformers-mic 作為封裝此類測試的標準。每份 Model Integration Contract(MIC)包含三部分:fixture(依真實 checkpoint 設定縮小、保留各類層型、tokenizer 與 processor 檔案原樣複製的小模型)、usage path(可執行的 Markdown 使用範例)與 baselines(經人工審核的輸出紀錄)。fixture 在 CPU 上執行快速整合測試,UMT5 實驗 fixture 權重為 66 MB,原始 checkpoint 為 1,227 MB。若只跑 eager attention 則無法重現此漏洞,顯示 fixture 必須走與真實 checkpoint 相同的程式路徑。團隊亦於 Transformers CI 的 proof branch 還原修復,測試同樣失敗,對應的 T5 contract 執行步驟在 CPU 上耗時 13.4 秒(不含環境設定)。 縮小模型的方法分為四步:縮減隱藏層大小、注意力頭數與深度,但保留滑動注意力與全注意力、稠密與 MoE 等不同層型;保持詞彙、特殊 token 與前處理不變;以種子隨機權重建置並驗證輸出、損失與梯度為有限值;最後凍結並記錄於已知可用的 Transformers 版本上。CI 重用已凍結的快照,不會為每個 PR 重建 fixture。目前 Transformers 支援超過 750 種模型類型,CPU 測試逾 88,000 項,每日 GPU 測試逾 200,000 項。
讀原始報導

背景

PyTorch 的 scaled dot-product attention(SDPA)中,attn_mask(注意力遮罩)的定義曾被社群指出可能有歧義。依 PyTorch 的一則 2023 年 issue 討論,GPT 類模型在啟用 kv-cache 逐 token 生成時,L 常為 1,正是容易產生混淆的情境。

來源