模型發布
NVIDIA 與 MIT 開源 Open-H3-Regenerate-2K:支援 MiniMax H3 最高 4K 重生成,B200 單卡推論提速 3.9 倍
AI 科技評論綜合 2 家報導多家報導
核實資料不足
多個報導來源提及此事;未必是彼此獨立的證據。
查證回合用盡,未形成有依據結論
NVIDIA 與麻省理工學院(MIT)的 Efficient-Large-Model 團隊於 Hugging Face 開源影片增強模型 Open-H3-Regenerate-2K,推論程式碼同步發布於 NVlabs/Sana 倉庫。該方案基於 MiniMax H3 開放權重的 H3-Base(768P),提供可自行本機部署的高解析度重生成實現,支援 2560×1440(2K)輸出,最高可達 3840×2160 原生 4K 重生成,補足官方 H3-Regenerate-2K 僅提供 API 服務的開源缺口。
在模型訓練上,團隊維持 H3 Transformer 主幹與影片 VAE 原始參數不變,僅微調新增的細化 LoRA。推論時將該 LoRA 與 LightX2V FL2VA Turbo、LMS Sharp 等社群配接器合併,依據輸入草稿的場景與動態資訊,透過三步去噪在目標解析度下重構畫面細節。
為最佳化推論效率,該方案利用潛在空間放大器直接放大影片潛在表示,避免高解析度下的重複編解碼,並導入 SoL-Engine 稀疏注意力、低精度計算與蒸餾自 H3 的 Sol-H3-VAE 快速解碼器。官方實測顯示,在單張預熱的 NVIDIA B200 GPU 上,處理一段約 5 秒影片的潛在空間放大、三步細化與 2K 解碼總耗時從 87.26 秒降至 22.45 秒(速度提升約 3.9 倍),其中解碼環節從約 15 秒縮短至 1.6 秒。
畫質評測方面,在 RefinerBench-150 的 2K 輸出測試中,Open-H3-Regenerate-2K 於感知品質 UniPercept 獲得 60.0 分,高於官方 API 的 53.4 分;在 VBench 評測中,該方案的美學品質、成像品質與主體一致性均優於官方 API,官方 API 則在運動平滑度與動態程度略佔優勢。
讀原始報導背景
MiniMax 為開發多模態模型與影片生成服務的人工智慧公司,旗下開源的 MiniMax H3 基礎模型支援生成音訊與影片,但官方高解析度重生成模組先前僅透過 API 提供。而 NVIDIA 開發的 Sana 則是一套專注於高效率高解析度影像與影片生成的程式碼庫,提供完整的訓練與推論管線,成為此次社群自行部署高解析度重生成方案的基礎架構。
來源
- 量子位qbitai.com
- en.wikipedia.org
- nvlabs.github.io