開發生態
社群發布全新開源推理引擎:支援設備端自動編譯核心,號稱比 llama.cpp 快 2 倍
Reddit r/LocalLLaMA單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
據 Reddit 社群 r/LocalLLaMA 消息,有開發者發布了一款定位類似 LM Studio 或 Unsloth Desktop 的全新開源推理引擎。該引擎主打硬體自動最佳化,能在使用者的設備上直接編譯並微調核心(kernels)。據發布者聲稱,此機制能讓開源模型的運行速度比 llama.cpp 快上最高 2 倍。硬體支援方面,該引擎相容於 Apple Silicon、NVIDIA、AMD,亦支援純 CPU 運行。目前該消息與效能數據僅為社群單方發布,尚未經廣泛實測驗證。
讀原始報導