開發生態
AWS 工單分類改以 Strands Decider E4B 取代 Claude Sonnet 4.6,單票成本降 98%、延遲降 78%
Hacker News單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據

據 Strands 部落格撰文(單一來源,尚未獨立證實),Amazon 與 AWS 內部工單系統的標註工作,已由 Claude Sonnet 4.6 改為決策模型 Strands Decider E4B。作者稱兩者表現相當,但成本大幅下降。
決策模型不生成文字,而是接收狀態與選項清單,對每個選項輸出機率與信心分數。團隊將工單視為狀態、20 種標籤視為選項。最初使用 Strands Decider 2B,後測試發現 E4B(Gemma 4 版本)在測試集上表現明顯較好,遂改用 E4B,並調整套用標籤所需的信心門檻。
部署於 SageMaker ml.g5.xlarge(單張 A10G、24 GB),模型約佔用 19 GiB,單次請求約 640 ms。推論端點網路隔離,並從 S3 載入權重。整條流程僅 Ticket API 為內部服務,其餘皆為標準 AWS 服務:SQS 觸發 Lambda,Lambda 呼叫 SageMaker 端點,AppConfig 控制切換,CloudWatch 負責日誌與告警,基礎設施以 CDK 定義,分 Beta、Gamma、Prod 部署。
遷移採三段式切換:BEDROCK(僅 Sonnet)、DUAL(兩者並行比對)、DECIDER(僅決策模型)。DUAL 模式下兩者同時在真實流量執行,團隊逐一判讀分歧,回退僅需約 45 秒的設定變更。
效能方面,平均每次呼叫由 4,215 ms 降至 897 ms(改善 78%);每張工單總 token 由 6,724 降至 2,010(改善 70%),其中輸出 token 由 170 降至 1。作者指出 token 下降來自兩點:決策模型只輸出一個選項而非 JSON,且提示詞遠短於 Sonnet。由於 20 個標籤的原始描述超過 4,096 token 的視窗,團隊將每個標籤改寫為一到兩句的判準,並加入「無」選項。長工單則會截掉最舊的留言。Lambda 平均執行時間當日下降 74%。
成本依公開 us-east-1 按需定價估算:Sonnet 4.6 每張工單約 0.0222 美元(每百萬張約 22,200 美元);E4B 於 ml.g5.xlarge(每小時 1.408 美元)每張約 0.0005 美元,考量突發流量的餘裕後,每百萬張約 500 美元,文中稱約為 Sonnet 的 1/44。上述不含 Lambda 費用。
作者另提到一項發現:同一內容若 JSON 鍵的順序不同,輸出機率最多可相差 0.19,因此團隊改為一律排序鍵後再送出。
作者也指出適用條件:任務須為已知目錄中的封閉選擇、流量大、且舊路徑延遲重要。若標籤需要解釋文字、目錄每週變動,或有效脈絡無法壓縮到數千 token,決策模型可能無法取代 LLM。
讀原始報導背景
Strands Decider 是一款為 agentic AI 設計的小型快速決策模型,不生成文字,而是針對給定的狀態與選項回傳各選項的機率與信心分數。本次案例中,Amazon 工程師把它用來取代原本的 Claude Sonnet 4.6 進行工單分類,其底層採用的是 Google Gemma 4 系列的 E4B 版本。
社群討論
社群普遍認為,對分類、路由這類簡單任務,用前沿大模型是過度設計,小型 decision model 或傳統 ML(如 SVM)才更合適,有留言提到成本可差 50 倍以上,也有人以 2021 年的 ticket 分類系統佐證「繞一圈又回到小模型」。不過也有質疑:有人指出文章用詞混亂(稱為 agent 但實際只輸出單一 token),也有人認為直接換成 Haiku 就能省下大部分成本,甚至 Amazon 內部既有標註資料卻還需外部模型,令人不解。