Lambda CTO 稱 H100 租金不降反升，AI 算力定價已轉由超節點架構與系統利用率決定

雲端服務商 Lambda 共同創辦人兼 CTO Stephen Balaban 近日指出，2023 年部署的 H100 晶片目前出租價格甚至高於最初上線時，打破硬體迅速貶值的傳統預期。他表示，AI 算力並未如傳統雲端資源般標準化，前沿模型訓練與推理高度依賴「超節點」（Supernode）架構，單一 GPU 效能已無法單獨代表系統算力。 以 NVIDIA GB300 NVL72 為例，官方文件顯示其採用全液冷設計，單一機架內整合 72 顆 Blackwell Ultra GPU 與 36 顆 Arm 架構 Grace CPU，透過 NVLink 高速互聯，並以 InfiniBand 或高速乙太網路進行跨機架擴展。網路拓撲、記憶體與軟體組織方式的差異，皆會大幅影響最終交付的算力。 在算力成本結構中，設備折舊佔比最大。Balaban 估算，一座千兆瓦級 AI 工廠需投入 20 億至 30 億美元於發電設施、100 億至 150 億美元於資料中心本體，而伺服器與運算設備（主要為 GPU）投入高達 350 億至 450 億美元。由於屬於重資產投資，GPU 的經濟壽命取決於持續承擔運算任務的能力與市場需求，而非僅看會計折舊週期（業界通常抓約六年）。 此外，系統利用率直接影響最終定價。若 GPU 只有 50% 時間用於運算，每個實際運作的 GPU 小時所需承擔的折舊成本將等同翻倍。因此，AI 算力雲（Neocloud）已演變為涵蓋土地、電力、資料中心建設至高效能運算設計與虛擬化軟體的垂直整合服務，而非單純的 GPU 租賃商。