前瞻與傳聞
Kimi K3傳首日支援vLLM
X @Xianbao_QIAN未證實
據單一來源消息，Moonshot AI 的開放權重模型 Kimi K3 擁有 2.8 兆參數，並於權重公開首日獲 vLLM 支援。該模型採 MoE 架構，每個 token 啟用 896 個專家中的 16 個，支援百萬 token 上下文與原生多模態理解。目前尚無其他來源佐證。
讀原始報導背景
vLLM 是一套大型語言模型推論引擎，可用於模型部署與服務。其相關技術涵蓋 PagedAttention、連續批次、量化與張量並行，並支援 ROCm 平台。