ClickStack MCPを本番障害シナリオで評価

ClickHouseは、ClickStack MCP Serverの障害調査能力を再現可能に測るオープンソース評価基盤を解説しました。

要点

• 同一の合成ログとトレースを使い、MCP版と汎用SQL版を盲検で比較します。
• 初期結果では根本原因と修復の正確さが18%高く、ツール呼び出しが26%少なく、結果の一貫性が2.4倍でした。
• MCPやモデル更新のたびに、同じ障害シナリオで回帰を検出できます。

今回のブログ記事で語られていること

ClickStack MCPは、エージェントへ生のSQLだけを渡す代わりに、繰り返すイベント、期間比較、外れ値、ログとトレースの移動といった観測作業を高水準のツールとして提供します。汎用ClickHouse MCPではモデルがスキーマを調べ、クエリを組み、複数段階の調査を自力で構成します。柔軟ですが、呼び出し回数、高カーディナリティ結果、非効率なクエリ、実行ごとのばらつきが増えます。

この評価基盤は、数千万件の合成ログとスパンへ意図した異常と紛らわしい副次問題を埋め込みます。乱数種を固定して毎回同じデータを作り、Claudeエージェントを各構成で動かし、実装を隠した状態で結果を採点します。既知の公開障害データはモデルが学習済みの可能性があるため使わず、調査能力そのものを測る設計です。MCPとモデルの全組み合わせを回せるため、新モデル採用前の比較にも使えます。

示された18%、26%、2.4倍という値は、このシナリオと採点方法で得た結果です。自社運用では、障害の種類、テレメトリ構造、正解、許容時間、費用を反映した追加場面が必要です。MCPの引数名や内部クエリを変えたとき、最終回答だけでなく、根拠、誤った途中仮説、ツール回数、実行時間を比較すると劣化を見つけやすくなります。評価基盤をCIへ入れる場合は、合成データが本番の機密を含まないことも確認してください。

評価を継続運用する際は、正解データをMCP実装者だけで作らず、実際に障害対応する担当者にも採点根拠を確認してもらうとよいです。ツール呼び出しが少なくても重要な証拠を飛ばしていれば良い調査とはいえません。反対に、正解へ到達しても過剰なクエリで本番負荷を高める構成は、運用上の合格条件から外す必要があります。

今回のブログ記事が関係する人

ClickStackやMCPで障害調査を自動化するSRE、観測基盤担当、AIエージェント評価を作る開発者に関係します。

結局、今回のブログ記事をどう読むべきか

MCPを提供しただけで終わらず、変更による調査品質の劣化を測る手法です。自社障害に合わせた評価場面を追加してこそ運用判断に使えます。