Microsoft Foundry、ベンチマークプレビューでモデル・エージェント品質を標準評価

Microsoft は 2026年6月15日、Microsoft Foundry のベンチマークプレビューを紹介しました。モデルカタログ上の一般的な順位ではなく、自分のプロジェクト内のモデルデプロイやエージェントを、共通ベンチマークで再現可能に測るための機能です。

要点

• ベンチマーク機能は、Foundryプロジェクト内のモデルデプロイやエージェントに対して標準ベンチマークを実行する機能です。
• モデルリーダーボードが一般的な性能を示すのに対し、ベンチマーク機能は「自分の構成で今どう動くか」を測ります。
• 初期ベンチマークには AIME 2025、BBEH、BIG-Bench Hard、ChemBench、FrontierScience、GPQA Diamond、MuSR、TruthfulQA が含まれます。
• 評価グループで複数の実行を比較し、スコア、合格数、トークン使用量を並べて確認できます。
• ポータルだけでなくREST APIからも実行でき、CIや定期検証に組み込む余地があります。

今回のブログ記事で語られていること

この記事は、AIモデルやエージェントを本番に近い構成で評価するための標準化された導線を説明しています。Microsoft Foundry にはすでにモデルリーダーボードがありますが、リーダーボードはカタログ上のモデルが一般的な条件でどう見えるかを示すものです。実際のプロジェクトでは、同じモデルでもデプロイ設定、バージョン、システムプロンプト、ツール、接続データ、ジャッジモデル、評価時点によって結果が変わります。ベンチマーク機能は、この「自分の構成でどう動くか」を測るための機能として位置づけられています。

ベンチマークは、事前定義された評価パッケージです。記事では、データセット、タスクカテゴリ、評価ロジック、必要に応じたジャッジモデルを含むと説明されています。たとえば GPQA Diamond や MuSR のような推論系ベンチマーク、TruthfulQA のような真実性評価、FrontierScience のようにモデルベースの判定を使うものが挙げられています。ユーザーは評価データをアップロードしたり、評価ロジックを一から設定したりせず、対象となるモデルデプロイやエージェントを選んで実行できます。

重要なのは、ターゲットモデルとジャッジモデルを分けて考える点です。ターゲットは評価される対象であり、ジャッジモデルは評価サービスが出力を採点するために使う別のデプロイです。記事では、比較したい実行間ではジャッジモデルを固定するべきだと説明しています。これは、科学実験で測定器を固定するのと同じ考え方です。ジャッジモデルを変えてしまうと、スコア差がターゲットの改善なのか、採点器の違いなのか分からなくなります。

エージェント評価にも意味があります。エージェントは、モデル単体の能力だけでなく、プロンプト、ツール、オーケストレーション、接続データの影響を受けます。ベンチマーク機能をエージェントに対して実行することで、ツールセット変更、モデルバージョン変更、システムプロンプト変更の前後で、同じ物差しを使って比較できます。これは、カスタム評価と置き換えるものではなく、標準的な外部物差しを追加する機能として読むのが自然です。

実務で確認したいこと

AI基盤チームは、どのベンチマークをどの変更時に実行するかを決めてください。モデル更新、微調整、プロンプト変更、ツール追加、エージェントバージョン変更のたびに、同じ評価グループで比較できるとリグレッションを見つけやすくなります。

また、スコアだけでなくトークン使用量も確認する必要があります。高いベンチマークスコアでも、コストや遅延が大きすぎれば本番には向きません。品質、コスト、速度を同じ画面で見ることが重要です。

今回のブログ記事が関係する人

関係するのは、Microsoft Foundryでモデルやエージェントを運用するAI基盤担当、評価設計を行う機械学習エンジニア、モデル更新や微調整の品質確認を担うプロダクトチームです。標準ベンチマークをCIや定期検証に入れたい組織にも関係します。

結局、今回のブログ記事をどう読むべきか

Foundry のベンチマーク機能は、モデルやエージェントを「一般的に優秀か」ではなく「自分の設定で今どう動くか」で測るための機能です。AI機能を継続運用する組織は、リーダーボードの数字だけでなく、デプロイ済み構成に対する再現可能な評価を持つ必要があります。