美光於 Hot Chips 2026 示警 AI 記憶體牆惡化：HBM 故障導致 Meta Llama 3 訓練中斷達 17%

據報導，美光（Micron）於 Hot Chips 2026 大會示警 AI 記憶體牆（Memory Wall）問題持續惡化，並透露 Meta 訓練 Llama 3 模型時，高達 17% 的非預期訓練中斷是由高頻寬記憶體（HBM）故障引起。 美光指出，目前 AI 算力約每兩年成長 3 倍，但 HBM 頻寬同期成長不到 2 倍。為彌補頻寬落差，現行 GPU 系統單晶片封裝（SiP）被迫堆疊更多 HBM；若採用 4 個 12 層（12-high）HBM 堆疊，其矽晶片面積將佔總封裝面積約 90%，達 GPU 面積的 8 倍。 儘管 HBM 具備絕對頻寬優勢（HBM3E 單顆晶片頻寬 256 GB/s 為 DDR5 的 32 倍，Bank 數達 128 個），但隨著儲存密度增加，每位元功耗效率（pJ/bit）反而下降。當堆疊高度從 12 層朝 16 層甚至 20 層邁進時，熱能密度成為最大痛點。高熱集中於整合先進功能的底層基礎晶圓（Base Die），引發晶片與封裝交互作用（CPI）的結構可靠性考驗，直接衝擊系統穩定性。 為應對物理極限，美光推出 HBM4，Bank 數攀升至 256 個，通道數與 I/O 速度較 HBM3E 翻倍，具備 2,000 個 I/O 連接埠，系統頻寬最高達 2,800 GB/s。 在封裝與散熱方面，美光正研發融合鍵合（Fusion Bonding）等混合鍵合技術，支援微米級精密間距以減少介電層數量與熱阻，並呼籲業界導入液冷技術及記憶體最佳化的 SerDes 高速 I/O 設計。