模型發布
NVIDIA 開源表格基礎模型 Kumo Tabular：無須微調即可預測，登頂四大基準測試
HuggingFace Blog一手來源
尚未逐項核實
來源為發布方或研究資料；不代表所有主張已獲獨立核實。
NVIDIA 在 Hugging Face 發布開源表格資料基礎模型 Kumo Tabular。該模型支援分類與迴歸任務，無須訓練、微調或特徵工程，給定帶有標籤的資料列作為上下文後，透過單次前向傳遞即可直接預測新資料列的標籤。
Kumo Tabular 提供 28M 至 215M 共三種參數規模，採用 OpenMDW-1.1 授權，允許商業使用。在效能表現上，該模型於 TabArena、BeyondArena、TALENT 和 ScoringBench 四個基準測試中均排名第一。
模型完全使用人工資料進行預訓練，訓練資料由結構因果模型（SCM）程序化生成，包含隨機因果圖與隱藏變數，並模擬了真實世界資料的缺失值與異常值。架構上基於 Transformer，結合欄、列與上下文注意力機制。為解決推論時表格遠大於訓練表格導致注意力分散的問題，模型導入「長度感知注意力溫度」（Length-aware Attention Temperature），根據鍵值數量的對數動態調整溫度，確保注意力在表格變長或變寬時保持集中。
讀原始報導背景
過去處理表格式資料（Tabular data）的機器學習任務，業界通常仰賴梯度提升樹（Gradient boosted trees）等技術，透過組合多個簡單的決策樹來建立預測模型。然而，傳統方法在面對新任務時，往往需要從頭進行特徵工程與模型訓練。NVIDIA 此次推出的基礎模型，旨在將上下文學習（in-context learning）能力引入表格式資料，讓模型能在不更新權重的情況下直接進行推論。