IBM 發布 Granite Switch 4.1：單一端點整合對話、決策（aLoRA）與語音辨識，共享 KV cache 降低 VRAM 負擔

IBM 於 Hugging Face 部落格發布 Granite Switch 4.1，提供 8B 與 30B 兩種規格，將對話、決策與語音辨識整合於同一個端點。模型內建三項技術：一個用於通用決策的新 Decision aLoRA、一個專門的 Guardian aLoRA，以及嵌入的 Granite-Speech-5.0-Turbo-CTC 語音辨識模型。官方稱該 ASR 模型為 OpenASR Leaderboard 上最快的模型。三者與基礎模型合併後，佔用的 GPU VRAM 與基礎模型單獨運行時大致相同，意味著以更少的 GPU 獲得更多能力。 由於 Switch 的 adapter 採用可快取的 Activated LoRA 架構，基礎模型生成時產生的 KV cache 可供後續任一 adapter 決策重複使用。結合 IBM 團隊近期對 vLLM 的貢獻（加速低秩 adapter 推論），以及同處部署的 ASR encoder，模型可在對話、決策與語音請求之間切換。 在安全決策任務上，官方表示 Guardian aLoRA 平均優於 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 與 Clef-Flash，但此為官方自行比較的結果，尚未見獨立驗證。在一項「競速」測試中，Granite-Switch-4.1-30B（凍結的 Granite 基礎模型加 4 個專門 aLoRA）完成真實的 5 步 RAG 工作流程，速度明顯快於 Jev-27B（凍結的 Qwen 基礎模型加 1 個通用決策 LoRA）。官方亦示範一個 3B 的自訂 Granite Switch 模型玩 Doom，決策速率為每秒 60 至 100 次，官方引用 Jev 的公開數據為每秒約 10 次，且該模型可在遊戲中同時敘述與回答問題。此對比為官方單方面數據，條件未經獨立核實。 IBM 表示未來將釋出 Adapter SDK，供社群在 Mellea 中訓練 adapter，並會在數週內公布更多細節與數據。