跳到主要內容
2026-11-22 日報
研究與評測

NVIDIA 研究團隊指超大 AI 上下文窗口走入死胡同:成本過高,定期摘要與檢索效果相當

The Decoder單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

據外媒報導,NVIDIA 研究團隊認為語言模型追求超大上下文窗口(context window)往往成本高昂且效能過剩,甚至形容這是一條死胡同。研究團隊在多項測試中指出,透過定期摘要搭配針對性檢索的架構,在實際任務中的表現幾乎與塞入全文相當。做為模型工作記憶體的上下文容量近年快速膨脹,GPT-4 於 2023 年 3 月推出時支援 8,192 tokens,而現今 GPT 5.6 Sol 已能處理約 100 萬 tokens,增長約 120 倍並足以容納托爾斯泰的《戰爭與和平》,但研究認為此類全量處理的大窗口在多數情況下並非必要。
讀原始報導
本期分類