Microsoft Foundry、マルチターンエージェント評価の品質調査を公開

Microsoft Foundry Blog は 2026年6月26日、マルチターンエージェント評価の品質調査を公開しました。会話全体を評価する必要性が焦点です。

要点

• Microsoft Foundry の Multi-Turn Evaluators に関する品質調査です
• 1応答ごとの評価ではなく、会話全体の達成度、根拠性、顧客満足、会話の一貫性を見ています
• 複数のデータセットと審査モデルを使った検証が説明されています
• エージェントを本番運用する前の評価設計に関係します

今回のブログ記事で語られていること

今回の Microsoft Foundry Blog は、エージェント評価を単一応答の採点だけで行うことの限界を説明しています。利用者が体験するのは、1つの返答ではなく、複数ターンにわたる会話です。エージェントは確認質問を行い、ツールを呼び出し、失敗時にやり直し、最終的な成果へつなげる必要があります。個々の返答が自然に見えても、会話全体では未完了、方針違反、根拠不足、静かな幻覚が残ることがあります。

記事では、Microsoft Foundry の Multi-Turn Evaluators を評価するために、タスク完了、顧客満足、根拠性、会話の一貫性といった観点が扱われています。データセットとして、通信業界の顧客対応タスク、関数呼び出し、根拠付き対話、オープンドメイン対話、開発者エージェントのコマンドライン利用などが挙げられています。ここで重要なのは、特定の業務だけで高い点が出ても、別の領域へ一般化できるとは限らないという点です。

評価モデルの違いも焦点です。公式記事では、審査に使うモデルによって一部の評価結果が動くこと、特に根拠性のような項目では差が出やすいことが説明されています。これは、エージェント品質を数値化するときに、採点器そのものの信頼性を確認する必要があることを示しています。評価指標を作れば終わりではなく、その指標がどの業務、どの会話、どのしきい値で妥当かを検証する必要があります。

実務では、エージェント導入前に、会話全体の成功基準を定義することが重要です。ツール呼び出しが正しいか、根拠のない回答をしていないか、利用者の目的を完了したか、途中で方針から外れていないかを評価できるようにします。単一の平均点ではなく、失敗例、しきい値、業務別の許容範囲を見たいです。

今回のブログ記事が関係する人

この調査は、AIエージェントを本番業務に入れるプロダクトチーム、評価基盤を作る機械学習チーム、品質保証担当、リスク管理担当に関係します。会話型AIの品質を数値で管理したい組織も確認したい内容です。

実務で確認したいポイント

• 1応答ごとの採点だけでなく、会話全体の成功条件を定義する
• タスク完了、根拠性、一貫性、顧客満足を分けて評価する
• 評価モデルやしきい値の違いで結果がどれだけ動くか確認する
• 自社業務に近い会話データで検証してから本番に広げる

結局、今回のブログ記事をどう読むべきか

この調査は、エージェント評価を「返答がよいか」から「会話として目的を達成したか」へ広げるための材料です。本番導入前に、評価器そのものの品質も確認したいです。