Baseten 談推論工程：GLM-5.2 擴大量化後吞吐量增 20%，最佳化最高提速 10 倍

據未經其他來源佐證的 Latent Space 訪談，Baseten 的 Philip Kiely 與 Ali Taha 表示，近期 GLM-5.2 實驗擴大模型量化範圍後，在維持評測品質的同時將吞吐量提高 20%，原因可能是不同層的量化誤差彼此抵銷。 兩人指出，推論最佳化仍可能帶來 20%、100% 甚至 200% 的增益，經最佳化的服務系統最高可讓前沿模型提速 10 倍。相關方法包括快取感知路由、重用已計算的 KV cache、由不同 GPU 分別處理 prefill 與 decode、以較小模型加速較大模型的推測解碼，以及 tensor、expert、pipeline parallelism。 訪談也談到 20 萬 token 請求進入推論系統後的處理流程，以及硬體、GPU kernel 與競態條件如何造成非確定性故障，使相同權重在不同叢集出現不同表現。Baseten 並稱曾將 Kimi 的視覺編碼器移植至 GLM-5.2，且未修改底層語言模型，也曾讓 GLM-5.2 協助最佳化服務自身的 kernel。 其他議題包括 NVIDIA Dynamo、KV-aware routing、Rubin、GPU 與 AI ASIC、KV cache 搬移及模型平行化；節目稱 Kimi K3 等大型模型需要 GB300 等級硬體。影片生成部分則討論長影片面臨的二次方 attention 瓶頸、autoregressive 生成的品質漂移，以及未來結合 autoregressive 與 diffusion 架構的可能性。 Philip Kiely 的《Inference Engineering》由 Baseten Books 於 2026 年出版；訪談將推論工程界定為把訓練後權重轉化成快速、可靠且可負擔之生產環境 API 的獨立工程領域。