NVIDIA 推出 TensorRT Model Connect，兩步驟將 Hugging Face 模型部署至 C++ 推論環境

NVIDIA 推出開源參考實作集合 TensorRT Model Connect，旨在簡化開源模型至 C++ 原生應用程式的部署流程。 開發者只需兩步驟即可完成部署：首先透過 Python CLI（如 `trtmc build`）從 Hugging Face 模型 ID 或本機檢查點建立包含 TensorRT 引擎與執行期資產的 bundle 檔案；接著在 C++ 環境中載入該檔案即可執行推論，生產環境完全無需依賴 PyTorch 或 Python 直譯器。 該專案提供雙層 C++ API：語意 API 可直接處理提示詞、影像與音訊等任務層級輸入；模組化 API 則允許開發者直接操作張量與 TensorRT 元件以自訂推論管線。此外，系統支援透過 TVM FFI 介面整合自訂 GPU 核心，允許替換模型特定部分，同時由 TensorRT 繼續執行其餘推論管線。 官方指出，針對支援的工作負載，其推論速度優於 `torch.compile`。為跟上開源模型更新速度，該專案採用 AI 原生開發模式，由 AI 代理（coding agents）在人類監督下生成程式碼、測試與文件，並透過每晚發布（nightly releases）機制快速支援新模型架構。