開發者開源 C 語言 LLM 引擎 Cortexist Little Gemma，稱在 Jetson Orin 執行速度超越 llama.cpp

據 Reddit 開發者展示，全新開源的 C 語言 LLM 推論引擎 Cortexist Little Gemma 已上線 GitHub。該引擎專為 CUDA 裝置設計，開發者稱其在 Jetson Orin 上的推論速度超越 llama.cpp，且在處理長語音提示後不會出現效能衰退。 在實測展示中，Gemma4 12B 模型運行於 RTX PRO 4500 Blackwell，而 Gemma 4 E2B 則部署於 Jetson Orin NX 16GB（預期在 Jetson Orin Nano Super 8GB 亦有相近表現）。兩套系統皆配備 reSpeaker Flex 四麥克風陣列與 3W 喇叭。此外，該管線支援唇形同步、表情與手勢，並能與人類進行即時語音對話。