跳到主要內容
2026-10-28 日報
研究與評測

作者自建本地 GPU 評測伺服器,以兩張 RTX 5060 Ti 實測 4B 至 35B 開源模型的完整基準與耗時

Reddit r/LocalLLaMA單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

一位 Reddit 用戶在 r/LocalLLaMA 發文,稱自建本地 GPU 基準評測伺服器,用於測量 4B 至 35B 量化開源模型在消費級硬體上的實際表現。作者表示,既有排行榜多直接引用廠商雲端分數,或只跑基準的小部分子集,且不顯示模型實際運算耗時,因此自行建置。 測試環境為 Linux 伺服器,配備兩張 RTX 5060 Ti,共 32GB VRAM,以 Docker 內的 vLLM 執行。作者稱共測試 12 款模型,但文中列出的型號超過 12 款(Qwen 3.5、3.6、3.8 各有 4B、9B、27B、35B A3B;另有 Gemma 4 的 E4B、26B A4B、31B,以及 GLM 4.7 Flash 的 NVFP4 與 AWQ 4-bit 量化版),實際清單需以原站為準。評測項目包括 IFEval、IFBench、ARC AGI 1、SimpleQA、SimpleQA Verified、SciCode,以及 vLLM bench serve,每款模型在思考關閉與開啟兩種設定下各測一次,並採用官方建議的採樣參數。 測試期間系統會記錄實際牆鐘時間與每秒 token 吞吐量,並為每個測試格計算 0 至 100 的時間效率分數。作者指出,Qwen 3.6 35B A3B 與 Gemma 4 26B A4B 等 MoE 模型耗時明顯較短,成績卻能與密集架構的 27B 及 31B 模型相當或更好;相對地,部分模型在簡單題目上可能陷入反覆推理、長時間佔用 GPU。以上皆為作者自述,尚未經獨立驗證。 結果已整理成可排序的比較表,置於作者個人網站 llmbenchmarks.io 的 local-gpu-benchmarks 子頁,該站點作者稱無廣告、無追蹤、無聯盟連結。作者表示,西洋棋殘局等新基準也已在伺服器上運行。
讀原始報導