模型發布
Kimi K3推出百萬上下文模型
X @Kimi_Moonshot
Kimi K3 已正式上線，具備 2.8 兆參數、100 萬 token 上下文與原生多模態能力。Kimi Delta Attention 在百萬 token 上下文中可讓解碼速度最高提升 6.3 倍，Attention Residuals 則以不到 2% 的額外成本，將訓練效率提高約 25%。模型現已登上 Kimi.com、Kimi Work、Kimi Code 與 Kimi API，並將於 2026 年 7 月 27 日前開放權重。
讀原始報導背景
Kimi K3 是一款具備 2.8 兆參數的旗艦模型，採用 Kimi Delta Attention（KDA）混合線性注意力機制與 Attention Residuals，並支援原生視覺理解及 100 萬 token 的上下文視窗。KDA 是 Gated DeltaNet 的改良版本，透過更細緻的閘控機制，更有效運用有限的 RNN 記憶體。