研究與評測
Artificial Analysis 發布模型任務耗時帕雷托前沿:2 分鐘內皆為 OpenAI,長耗時由 Anthropic 占據
X @ArtificialAnlys單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
Artificial Analysis 發布前沿模型「單一任務耗時」(Time per Task)帕雷托前沿分析,結果顯示僅 OpenAI 與 Anthropic 兩家實驗室占據前沿位置。該圖表僅收錄在 Artificial Analysis 智慧指數得分超過 25 分的模型。
數據顯示,單一任務耗時在 2 分鐘以內的前沿模型全部來自 OpenAI;而在耗時超過 2 分鐘的 6 款模型中,有 4 款來自 Anthropic。
該評測的任務耗時是以輸出 token 數除以解碼(decode)速度計算得出,受推測解碼(speculative decoding)等推論最佳化技術,以及活躍參數與推理量等模型架構因素影響。此外,Kimi K3 (max) 因 Moonshot AI 官方 API 的輸出速度較低,單一任務耗時高達約 11 分鐘。
讀原始報導背景
投機解碼(Speculative decoding)是一種針對自迴歸大型語言模型的推論最佳化技術,能在單一解碼步驟中生成多個 token。其運作方式是由較小的草稿模型提出候選 token 序列,再交由較大的目標模型透過單次前向傳遞進行驗證,藉此提升模型的輸出速度。
來源
本期分類