NVIDIA 推出 LLM 推論基準測試工具 AIPerf：採多行程架構解決 GIL 瓶頸，取代 GenAI-Perf

NVIDIA 推出全新 LLM 推論基準測試工具 AIPerf，作為 GenAI-Perf 的繼任者，該工具經過完全重寫，不再基於 Perf Analyzer。為解決單一行程與 Python GIL 造成的客戶端效能瓶頸，AIPerf 採用多行程架構，透過獨立的 worker processes 產生負載與 record-processor 處理結果，並以 ZMQ 協調。該工具支援超過 15 種端點類型（含 chat、NIM rankings 與圖像生成），並相容 ShareGPT 等公開資料集以及 Mooncake、Baseten、WEKA 等流量回放格式。使用者可控制負載形狀，支援 constant、Poisson 與 gamma 模式，並可調整突發性與漸進式併發。測試完成後可輸出 CSV 與 JSON 格式報告，提供 TTFT（首字延遲）、ITL（字間延遲）、請求延遲與輸出 Token 吞吐量等核心指標的 p25 至 p99 百分位數分析。