
Amazon、社内チケット分類でSonnet 4.6をStrands Deciderに置き換え
Amazonの2人のエンジニアが、社内チケットシステムのラベル付けに使っていたClaude Sonnet 4.6を決定モデルのStrands Deciderに置き換えた。記事によると、Strands Deciderは同等の性能をより低いコストで実現したという。
Strands Agentsのブログ記事によると、Amazonの社内チケットシステムを担当するエンジニアのCarrとMehulが、チケットのラベル付けにClaude Sonnet 4.6を使う代わりに、決定モデルのStrands Deciderを採用した。Strands Deciderは1か月前に公開されたモデルである。
切り替えの概要
対象は顧客からのエスカレーション、キャパシティ要求、自動アラーム、セキュリティ検知結果などのチケットで、20のカテゴリに分類される。チームは、テストセットで明確に良い結果を示したことから、元の2Bモデルから E4B Gemma 4 ビルドに切り替えた。別のチケット群では、E4BモデルがプロダクションのSonnetを上回ったという。
新しい仕組みでは、LLMによるラベル付けを決定モデルに置き換えた。このモデルは、各選択肢の確率と信頼度スコアを返す。E4BはSageMakerのml.g5.xlargeインスタンス上で動作し、モデルの使用メモリは19 GiBである。ウィンドウサイズは4,096トークンである。
性能とコストの比較
Sonnet 4.6とStrands Decider E4Bを比較すると、以下のとおりである。
| 項目 | Sonnet 4.6 | Strands Decider E4B |
|---|---|---|
| 平均応答時間(1回あたり) | 4,215 ms | 897 ms |
| 入力トークン(1チケットあたり) | 6,554 | 2,009 |
| 出力トークン(1チケットあたり) | 170 | 1 |
| 合計トークン(1チケットあたり) | 6,724 | 2,010 |
| コスト(1チケットあたり) | $0.0222 | 約$0.0005 |
平均応答時間は78%改善し、合計トークンは70%削減された。Sonnetの利用を停止した日には、ラベル付けを行うLambdaの平均実行時間が74%低下した。
コストは、米国東部(us-east-1)のオンデマンド公開価格に基づく。Sonnet 4.6の1チケットあたりのコストは$0.0222で、100万チケットでは約$22,200になる。Strands Decider E4Bは1チケットあたり約$0.0005で、余裕分を含めると100万チケットで約$500となる。記事は、これをSonnetより44倍安いと説明している。ml.g5.xlargeインスタンスの価格は$1.408/インスタンス時間で、640 msのリクエストを処理した場合は1時間に5,600チケットを処理できる。フル稼働時の100万チケットあたりのコストは$250とされる。
運用面の工夫
- ラベル付けを行うLambdaは、メッセージごとにAWS AppConfigから三方向の設定(BEDROCK、DUAL、DECIDER)を読み込む。
- Strands Deciderのプロンプトは短く、JSON形式の回答ではなく選択結果という1つの出力を生成する。
- JSONのキー順を変えると出力確率が最大0.19変動したため、チームは現在すべてのリクエストでキーをソートして送信している。
- Sonnetへの復帰は45秒の設定変更で行える。
筆者の見立て
- この変更によって1年間でトークンコストを数百万ドル節約できると予想している。
- 読者の組織でも同様の取り組みが可能だと示唆している。
- 今回の成功は、既知のカタログから閉じた選択肢を選ぶタスクであったこと、処理量が多かったこと、旧経路のレイテンシが重要であったことによると解釈している。
- ラベルに説明文が必要な場合、カタログが毎週変わる場合、有用な文脈が数千トークンに収まらない場合には、決定モデルがLLMの役割を置き換えることは難しいと予想している。
- モデルの種類に関係なく模倣すべき部分は三方向の切り替え機構だと論じている。
- 実トラフィック上で両方を動かし、すべての不一致を評価したことは、オフライン評価よりも多くの情報をもたらしたと論じている。
- 決定モデルによって、エージェントの世界はより刺激的で、コストも抑えられるものになると論じている。
この記事は元記事の事実のみに基づいて自動生成されました。
出典
- 媒体: Strands Agents
- タイトル: Amazon saves millions by replacing Sonnet 4.6 with Strands Decider
- URL: https://strandsagents.com/blog/amazon-saves-millions-replacing-sonnet-with-strands-decider/