開發生態
推論引擎 zml/llmd 釋出 llmd-20261106.0:支援五大硬體平台,容器映像檔最低僅 142MB
Reddit r/LocalLLaMA單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
開發者於 Reddit 社群發布推論引擎 zml/llmd 的新版本「llmd-20261106.0」,宣稱其為跨平台高效能 LLM 伺服器,支援 NVIDIA(CUDA)、AMD(ROCm)、Intel(OneAPI)、Google TPU 與 Apple Metal 等五大運算架構。在功能方面,該引擎具備連續批次處理(continuous batching)、前綴快取(prefix-caching)、工具呼叫(tool calling),以及張量與專家平行自動分片,並支援 DFlash、DFlash2 與 DSpark 投機解碼技術。其原生虛擬檔案系統支援透過 s3:// 與 hf:// 協定將模型直接串流至 GPU。支援清單包含 Qwen 2 至 3.8 系列、Gemma 3 與 4 系列、LLaMa 2 與 3 系列、Mistral 3 與 Large 4、DeepSeek 4.1 Flash、GLM 5.2 與 5.3、Poolside Laguna S 2.1、Xiaomi MiMo V2.6、LFM 2.5 與 3、Beam 1.0、Ripple 65B 及 Muse Glimmer 等密集與 MoE 架構。安裝體積方面,Metal 版本為 142 MB,TPU 為 272 MB,OneAPI 為 454 MB,CUDA 為 1.96 GB,ROCm 則為 4.77 GB。
讀原始報導本期分類
相關主題