開源量化編譯器 LookAtMyQuant 釋出:Qwen3.8-27B 壓至 7.2GB 表現不減,Inkling-2-Mini 僅需 5.4GB 記憶體
採用網格編碼與 Fisher 資訊分配,並針對 Apple Silicon MLX 打造專屬核心,M5 Max 投機解碼速度達每秒 124 標元。
Hacker News單一來源
31 則值得知道的變化
採用網格編碼與 Fisher 資訊分配,並針對 Apple Silicon MLX 打造專屬核心,M5 Max 投機解碼速度達每秒 124 標元。
該系統採動態分層推論引擎與主動學習架構,LoCoMo 記憶基準測試達 95%,可直接操作本機桌面與瀏覽器且資料完全不出本機。
Inkling 2 Mini 以 24 層解碼器配合迴圈機制,讓第 6 至 17 層執行三次;研究版檢查點可在推論時調整迴圈次數,權衡速度與品質。