模型發布
steffi.ai 團隊公布自製 Rust 本地推論引擎 llminfra 的自測數據:Qwen 上 TTFT 較 SGLang 快 13.4 倍
Reddit r/LocalLLaMA單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
steffi.ai 團隊在 Reddit r/LocalLLaMA 發文,公布其自製的 Rust 推論引擎 llminfra 與 SGLang 的自測比較,測試於同一組 RTX PRO 6000(300W)硬體上進行,模型為 Qwen。依貼文所列,250K 上下文下後續輪次的首字延遲(TTFT)為 108 ms,SGLang 為 1,440 ms,約快 13.4 倍;冷啟動至可服務時間為 6.1 秒,SGLang 為 211.2 秒,約快 34.8 倍。吞吐量方面,32 個代理、各 32K 上下文時為 209 tok/s 對 95 tok/s(2.2 倍);2 個代理、各 250K 上下文時為 86 tok/s 對 28 tok/s(3.1 倍)。8x32K 負載下顯存峰值為 52.9 GiB,SGLang 為 86.3 GiB。這些數字均由該團隊自行測得,尚未有第三方獨立驗證。團隊表示正在整理文件與建置腳本,並移除專有掛鉤後將公開程式碼。
讀原始報導背景
NVIDIA IGX Thor 是該公司面向實體 AI(physical AI)的企業級平台,結合伺服器級 AI 效能、工業級硬體、功能安全認證與企業軟體堆疊,主要用於工業、醫療與機器人等邊緣運算場景。本則新聞所用的 IGX Thor 機器即屬於這個平台。