開發者以純 C 實作推理引擎 Pantheon，在二手 Tesla K80（2014）上以約 21 tok/s 運行 35B MoE 模型

開發者 David 發布純 C 實作的推理引擎 Pantheon（建立於 ML 函式庫 Foundry 之上），CUDA 後端鎖定 Kepler 架構（sm_37），目標是讓價格低廉的二手 Tesla K80 也能實際運行大型模型。據其在單張 K80（雙晶粒）、2 核心、8 GB 記憶體、不支援 AVX 的主機上實測，Qwen3.6-35B-A3B 與 Nex-N2-mini（Q3_K_M 量化）解碼速度約 21 tok/s；提示讀取速度在 8k tokens 內約 110-120 tok/s，14k 時約 75 tok/s，30k 時約 55 tok/s。權重常駐於顯示卡而非系統記憶體，因此 8 GB 主機已足夠。 引擎內建前綴快取：請求附上 session id 後，後續輪次只處理新增內容。作者提到 opencode 會自行使用此功能，其第二輪（14k tokens 系統提示）的等待時間從 170 秒降至 9 秒。作者也坦言，預填階段是 K80 的弱點：聊天、寫作、問答與背景工作體驗尚可，但每次請求都貼上 30k tokens 程式碼庫時，首字輸出需等數分鐘。 安裝方面，./install.sh --k80 可在不需 CUDA toolkit、僅安裝 NVIDIA 470 驅動的前提下編譯；執行腳本會下載並校驗模型，接著提供相容 OpenAI 的 API。專案託管於 git.teamide.dev，模型發布於 Hugging Face（dcherrera 帳號）。作者表示此專案仍在早期階段，歡迎回報建置問題與錯誤。此外，作者說明也可在 Tenstorrent Blackhole 卡上運行 Ornith 1.5。 此消息目前僅來自 Reddit 單一來源的作者自述，效能數據為作者自行實測，尚未獨立驗證。