Microsoft Foundry、production tracesから評価・微調整データを選ぶIntelligent sampling

Microsoft は 2026年6月15日、Microsoft Foundry の Intelligent sampling について解説する記事を公開しました。production traces から評価データセットや微調整データセットを作る際、MinHash と farthest-first traversal を使って、より多様な入力を選ぶ仕組みです。

要点

• Intelligent sampling は、エージェントの本番トレースから評価・微調整用データを作る際に使われる多様性サンプリングです。
• WildChat の5,000件から100件を選ぶ検証では、均一ランダム抽出より語彙多様性が29.1%、語彙数が44.8%高いと説明されています。
• Dolly、No Robots、OASST2、ShareGPT-GPT4、UltraChat でも語彙数の改善が5.7%から86.3%の範囲で示されています。
• LLM判定では、評価データとして78%、学習データとして71%の割合で多様性サンプリングが好まれたとされています。
• LLM呼び出しや外部埋め込みモデルに依存せず、ハッシュベースで秒から分単位で動く設計です。

今回のブログ記事で語られていること

この記事は、エージェント評価や微調整に使うデータをどう選ぶかという、かなり実務的な問題を扱っています。本番トラフィックからトレースを選ぶ最も単純な方法は均一ランダム抽出です。これは実際の入力分布を保ちやすく、頻度をそのまま反映したい用途には適しています。しかし、エージェントの評価や微調整では、よくある問い合わせだけを集めても十分ではありません。珍しいツール呼び出し、例外的なプロンプト、長い会話、境界条件を含む入力こそ、品質改善やリグレッション検出に重要です。

Microsoft Foundry の Intelligent sampling は、この問題に対して、多様性を優先してトレースを選ぶ仕組みです。記事では、各トレースのユーザーテキストをシングルに分解し、128個のハッシュによる MinHash シグネチャを作り、Jaccard類似度を近似します。そのうえで、すでに選んだトレースと最も異なるトレースを繰り返し選ぶ farthest-first traversal を使います。これにより、単に頻度の高い入力をなぞるのではなく、入力空間を広く覆うサブセットを作ることを狙っています。

この設計の重要な点は、LLM呼び出しや外部埋め込みモデルを使わないことです。選択はハッシュベースでサーバー側に実装され、トークン単位の追加コストを発生させず、プールサイズに対してほぼ線形に動くと説明されています。評価や微調整の前処理として使う場合、データ選択そのものが高価になりすぎると運用に乗りません。Foundry の実装は、品質改善のための選択を、日常的なワークフローに入れやすくする狙いがあります。

実務では、この機能を「ランダム抽出の完全な置き換え」と読むべきではありません。記事でも、ランダム抽出は本番頻度を反映したい場合には明確なベースラインだと位置づけています。多様性サンプリングは、カバレッジを広げたい評価や微調整に向いています。つまり、運用監視では本番分布を測るサンプル、品質改善では多様性を高めたサンプル、というように目的別に使い分けるべきです。

実務で確認したいこと

AIエージェントを運用するチームは、評価データセットが頻出ケースに偏っていないかを確認してください。よくある質問だけで評価すると、レアケース、複雑なツール呼び出し、失敗しやすい入力を見落とします。

また、微調整データを作る場合は、多様性だけでなく、回答品質、個人情報、機密情報、ラベルの正しさ、人間レビューを合わせて確認する必要があります。多様なトレースを選んでも、品質の低い応答や不要な情報をそのまま学習に使うべきではありません。

今回のブログ記事が関係する人

関係するのは、Microsoft Foundry でエージェントを運用するAI基盤担当、評価データセットを作る機械学習エンジニア、微調整データの選定を行うチームです。特に、本番ログを評価や改善に使いたいが、頻出ケースへの偏りを避けたい組織に関係します。

結局、今回のブログ記事をどう読むべきか

Intelligent sampling は、エージェント評価を本番ログの単純な抜き取りから、目的に応じたデータ選択へ進める機能です。評価や微調整で見たいのは平均的な問い合わせだけではなく、失敗しやすい境界条件です。Foundryを使うチームは、ランダム抽出と多様性サンプリングを使い分け、評価の目的ごとにデータ選択を設計する必要があります。