Redis 創辦人推出本地推理引擎 DwarfStar 4，採非對稱 2-bit 量化支援 DeepSeek V4

據報導，Redis 創辦人推出名為 DwarfStar 4（ds4）的輕量級 C 語言本地推理引擎，採 MIT 授權。該引擎專為大記憶體 Mac、CUDA 與 ROCm 設備設計，支援 DeepSeek V4、V4.1 Flash、GLM 5.x 與 Qwen3.8 Flash Next 的文本及視覺模型。 ds4 採用非對稱 2-bit 量化技術（Asymmetric 2-bit quantization），透過壓縮路由專家（routed experts）並保持關鍵共享路徑的精度，使大型 MoE 模型能在本地部署。系統並非通用的 GGUF 運行器，僅支援經過端到端驗證的特定專案 GGUF 格式。 功能面支援將長提示詞快取至 SSD 並透過 prompt hash 恢復，避免重啟時需完整重新預填充（prefill），並具備張量平行處理（Tensor Parallelism）、會話批次處理與視覺輸入能力。架構內建 CLI、相容 OpenAI 與 Anthropic 格式的 HTTP API，以及原生代理（native agent），三者共享模型狀態與快取。 據網站公布的基準測試，在配備 128GB 記憶體的 M5 Max 設備上運行 2K 上下文的 V4 Flash Q2 模型，預填充速度達 790.2 t/s，生成速度為 39.4 t/s；在同等記憶體的 DGX Spark 上則分別為 825.8 t/s 與 18.1 t/s。