Apple ML 提出三模態遮罩擴散模型，3B 規模支援文字、文字生圖與文字生音

Apple ML 發表研究《The Design Space of Tri-Modal Masked Diffusion Models》，提出首個從頭預訓練的三模態 Masked Diffusion Model（MDM），訓練資料涵蓋文字、圖文與音訊文字配對。研究系統分析多模態 scaling laws、模態混合比例、雜訊排程與 batch size 效應，並提出最佳化的推論取樣預設值。研究另以隨機微分方程（SDE）為基礎進行重參數化，將受 GPU 飽和度、FLOP 效率與執行時間影響的實體 batch size，與用於控制隨機最佳化梯度變異的邏輯 batch size 解耦，據稱可免除調整最佳 batch size 的需求。初步模型在 3B 規模、以 6.4T tokens 預訓練後，展示文字生成、文字生圖（T2I）與文字生音（T2S）能力；Apple ML 將這項工作稱為目前最大規模、系統性研究多模態離散擴散模型的開放研究。