AIエージェント評価を配備ゲートへ組み込む実践設計

AWSは、Strandsの開発キットとAmazon Bedrock AgentCoreを使い、AIエージェント評価を配備前後の品質ゲートへ組み込む設計を公開しました。

要点

• ツール使用95％超、推論85％超、回答品質90％超を別々に評価します。
• 単発成功ではなく、複数回連続で成功する確率を配備判断に使います。
• 本番の失敗を試験ケースへ戻し、評価集合を継続的に育てます。

今回のブログ記事で語られていること

事例は英国の自動車市場Motorwayで、最大2,500台を約8,000の販売店が競る日次オークションを支える在庫検索エージェントです。約1,500人が同時利用する時間帯があり、8種類のツール、89以上の車両属性、ベクトル検索を組み合わせます。流暢な回答だけを評価しても、正しい検索手段と条件が使われたかは分からないため、エージェント全体の挙動を検証します。

配備前は、ツール選択と引数を決定的な採点で95％超、推論をモデル採点で85％超、回答品質を90％超という三層に分け、どれかが失敗すれば配備を止めます。回答の揺らぎに対しては、一度でも成功する確率より、複数回連続で成功する確率を重視します。成功率75％でも三回連続成功は約42％になるため、顧客向けでは単発試験が安心材料にならないという説明です。

本番ではAgentCoreの評価機能が観測トレースの1〜5％を抽出し、最大10個の評価器を適用します。段階配備では、少なくとも4時間の影運転、2％の差異閾値、5％の実トラフィックによる比較を例示します。初期20〜50件の試験を、本番の失敗から三か月で150件へ増やした事例も示されました。費用は試験一式で約5〜10ドル、初期配備30〜45分、領域調整2〜3時間という目安です。

導入時は数値をそのまま流用せず、誤操作、情報鮮度、利用者範囲、費用、待ち時間など自社の失敗条件へ置き換えます。拒否すべき入力や呼んではいけないツールも試験に含め、失敗を再現可能な回帰試験へ変換することが重要です。

評価器自体にも誤判定があるため、人の判定との一致率を定期的に測ります。採点用モデルや指示文を変更した日は結果を分け、以前の合格率と単純比較しない運用が必要です。業務成果、技術指標、評価費用を同じ記録へ残せば、閾値を厳しくした効果も説明しやすくなります。

今回のブログ記事が関係する人

顧客向けエージェントの開発者、継続的配備担当、品質・安全性を承認する責任者に関係します。

結局、今回のブログ記事をどう読むべきか

回答例の採点ではなく、ツール、推論、結果、反復安定性を配備条件にする実務設計です。自社の重大失敗を定義し、本番事故を試験へ戻す閉ループから始めるべきです。