SIGGRAPHで示されたエージェントAIとフィジカルAIの融合

NVIDIAはSIGGRAPHに合わせ、グラフィックスとシミュレーションを、エージェントAIやフィジカルAIの開発基盤として広げる発表をまとめました。

要点

• Adobe、Affinity、Blender、Boris FX、Houdini、Unreal Engineなどで、制作操作をエージェントへ公開するMCP対応が進みます。
• Synthetic Video Detector NIMは、圧縮後の映像にも対応するフレーム単位の合成動画判定を提供します。
• 40億パラメータのCosmos 3 Edgeと、DGX Stationでローカル実行するNVIDIAのエージェントツールキットが公開されました。

今回のブログ記事で語られていること

今回の発表は、制作アプリ、メディア検証、フィジカルAI用モデル、ローカルエージェント、研究という複数の更新を束ねたものです。制作分野では、AdobeがCreative Cloudなどの複数手順をAI Assistantから操作し、Adobe Express開発者向けMCPサーバーを提供します。AffinityはClaude向けAIコネクターでレイヤー名変更や一括編集を自動化し、Blender LabはPython APIと文書へ接続する軽量MCPサーバーを用意します。Boris FX Silhouetteはプロジェクト確認、ノード構築、キーフレーム編集、レンダリングをMCPツール化し、Foundry GriptapeはVFX工程を統制します。Houdini 22はAPEXスクリプトによるキャラクターリグ、Unreal Engineはエディターのシーンやアセット操作をMCP経由でエージェントへ公開します。

報道・配信向けにはSynthetic Video Detector NIMを発表しました。動画をフレーム単位で分類し、NVIDIAの試験では非圧縮で最大92%、15%圧縮で87%、50%圧縮で82%の精度でした。処理時間はRTX上で約22ミリ秒、L40上で約30ミリ秒とされ、オンプレミス、エッジ、ハイブリッド、ネットワークから隔離した環境へ配置できます。Wowzaはこのマイクロサービスを配信基盤へ組み込む計画です。ただし、これは真偽を自動確定する仕組みではなく、編集・検証工程へ追加するAI判定信号として説明されています。

フィジカルAI向けのCosmos 3 Edgeは40億パラメータで、テキスト、画像、動画、環境音、行動を扱い、Jetson、RTX、DGX、GeForceでローカル実行するモデルです。Cosmos 3はEdge 4B、Nano 16B、Super 64Bの3規模がHugging FaceとGitHubで公開され、ロボット、車載、ライブ映像を使う視覚エージェントを想定します。DGX Station向けNVIDIAエージェントツールキットは、NemoClaw、5500億パラメータのNemotron 3 Ultra、Omniverseのツール、隔離実行環境OpenShellを一つにまとめます。3手順・約30分で構築し、インターネットなしでローカル実行できるとされ、Omniverseを操作するエージェントと、クリエイティブ作業向けという2つのDGX playbookが示されています。

研究面では21本の論文を紹介しています。代表例は、人の動作を部品化する35万クリップのMotionBricks、GPU上の物理計算を扱うGPC、3Dアセットを自動修復するArtiFixer、Newton向けソルバー、動画から編集可能な材質を復元するVideoNeuMat、関節ロボットの設計を支援するARDYです。したがって、この記事を単一製品の提供開始として読むのは不正確です。一般提供のモデルやNIM、各社アプリの統合、ローカル実行用構成、研究成果では成熟度と利用条件が異なるため、導入候補ごとに公開状態と対応ハードウェアを確認する必要があります。

今回のブログ記事が関係する人

CG・映像制作、デジタルツイン、ロボティクス、自動運転、合成データ、産業シミュレーションに携わる開発者と技術責任者に関係します。

結局、今回のブログ記事をどう読むべきか

導入判断では、制作アプリのMCP、動画検証NIM、Cosmos 3 Edge、DGX Station構成を別々に評価すべきです。特にSynthetic Video Detectorの数値はNVIDIAの試験値であり、Cosmos 3の規模も用途別です。研究論文まで含む総合発表を、一つの完成製品と受け取らないことが重要です。