Together AI 推出 Canary rollouts 部署功能，支援三種無停機模型升級策略與指標監控

Together AI 推出 Canary rollouts（金絲雀部署）功能，旨在解決生產環境中模型無縫升級的痛點。該功能提供三種流量轉移策略：Canary（按自訂比例如 10% → 50% → 100% 逐步轉移）、Blue-green（單步 0% → 100% 切換）以及 Rolling（逐個副本替換以維持總容量）。 系統在轉移流量前會先擴容目標模型並執行健康檢查，確保引擎已載入且能正常回應。使用者可設定 p95 延遲或錯誤率等「指標閘門（metric gates）」，若升級過程中觸發異常閾值，部署會進入系統暫停狀態等待人工審批，並可隨時取消及反向回滾。官方實測將 Qwen2.5-7B 升級至 Qwen3.5-9B 時，於 10% 流量階段捕捉到 p95 延遲退化 137%，經取消並回滾後，期間無任何請求失敗。 開發者可透過 REST API、Console 或 CLI（需 together Python 套件 2.34.0 以上版本）操作。API 支援將建立與啟動分為兩步以便審查，CLI 則可一步完成建立與啟動。