AgentSight、AIエージェントのトークン消費をセッション単位で可視化

Alibaba CloudのAgentic OS ANOLISAに、エージェントの健全性とトークン消費を可視化するAgentSightウィジェットが加わりました。業務ロジックを変更せず、実行環境全体のデータを収集・cor関係します。

要点

• オンライン、オフライン、停止、稼働中のセッション、突然の中断を一画面で表示し、アラートと再起動を支援します。
• トークン使用量をセッション単位とダイアログ単位に分け、エージェント、モデル、時間、ツール/スキル呼び出しを追います。
• 天気確認の例では140,000トークンを消費し、ツール判断ごとの履歴の再読み込みが入力増加の原因でした。

今回のブログ記事で語られていること

AgentSightが対象にするのは、月末請求の合計だけでは、どのエージェントのどの段階がトークンを浪費したか分からない問題です。エージェントを24時間動かすと、バックグラウンドで停止したこと、重要な処理が壊れたこと、トークンが急増したことに気付くまで時間がかかります。可視化パネルは全体概要から個別会話まで健全性、稼働中のセッション、中断をリアルタイムに示し、オフラインや停止を検出するとアラートを出し、再起動できます。

コスト分析はセッションとダイアログの2層です。セッション表示はエージェントごとの分布から高コストエージェントや平均を大きく超える実行を見つけます。ダイアログ表示は一つの会話の流れでシステムプロンプト、履歴ウィンドウ、特定のスキル入力がどれだけトークンを使ったかを追います。時間、エージェント、モデルでも傾向を比較できるため、週次増加や特定日の異常を確認できます。

記事の天気照会では、ユーザー入力は20トークン以下、システムプロンプトは数百、ツール判断を含めても数千程度と予想したのに、実際は140,000トークンでした。天気スキル取得と実際の天気照会の2回LLM判断で過去メッセージ履歴を繰り返し読み、入力トークンが膨張したことをAgentSightで確認しています。今後はタスクの取り込み、ツール判断、判断分岐、最終出力を再生する実行経路分析を追加し、どのスキルと分岐がコンテキストウィンドウを消費したかを示す計画です。クラウド利用とオンプレミス展開の双方を案内し、ANOLISAはGitHubとAlibaba Cloud Linux 4 LTS Agentic Editionで提供されています。

今回のブログ記事が関係する人

AIエージェントを本番運用するSRE、LLMコスト責任者、プロンプト・ツール設計者、オンプレミスエージェント基盤担当に関係します。

結局、今回のブログ記事をどう読むべきか

トークン合計を予算アラートだけで見るのではなく、履歴の再読み込みや冗長ツール経路へ分解するオブザーバビリティです。導入時は収集追加負荷、プロンプト内容の機密性、データ保持、サンプリング、再起動の安全性を確認する必要があります。