Omniverse RTX Sensor Simulationを既存アプリへ直接統合

NVIDIAは、Omniverse RTX Sensor Simulationを既存のシミュレーションや設計アプリへ組み込むovrtxを、プレリリースとしてGitHubで公開しました。

要点

• 軽量なC・Python SDKから、カメラ、LiDAR、レーダー、超音波、セマンティックセグメンテーションなどを生成します。
• OpenUSDと共有ランタイムovstageを使い、既存アプリが制御ループとデータモデルを保ったままRTX出力を呼び出します。
• RenderProductsとRenderVarsで必要な出力を定義し、CPU・GPUメモリへ戻してNumPyやPyTorchなどへ渡せます。

今回のブログ記事で語られていること

ovrtxは、NVIDIA Omniverseライブラリ群でRTXセンサーシミュレーションを担うソフトウェアです。GitHubで公開された現時点の位置付けはプレリリースで、軽量なC・Python SDKを提供します。既存のPython、C、C++アプリからSDKを呼び出す構成で、SDK自体を「C/C++ API」と表現するのは正確ではありません。OpenUSDのシーンから、カメラ、LiDAR、レーダー、超音波、セマンティックセグメンテーション、表示前確認用の画像などを生成し、ホストアプリが画面、データモデル、制御ループを保持します。

統合は5段階です。まずovrtxのレンダラーを作成・設定し、既存工程にあるOpenUSDファイル、URL、文字列、参照を読み込みます。次にRenderProductsとRenderVarsで、どのカメラやセンサーから、色、深度、セマンティックセグメンテーション、LiDAR点群、レーダー検出などの何を得るかを定義します。ホストアプリのループから時間差分を渡してレンダリングまたはセンサーシミュレーションを1段進め、最後に結果をCPUまたはGPUメモリへ対応付け、表示、保存、解析、後続処理へ渡します。初期化・読込・出力定義は主に開始時、シミュレーションの進行と結果読出しはアプリの反復処理内で行う構造です。

複数のOmniverseライブラリを使う場合、ovstageがOpenUSDの変換、材質、階層、メタデータ、シミュレーション状態を共有します。たとえばovphysxが更新した物理状態をovrtxが別のシーン表現へ複製せずに読み取れます。出力はDLPackを介してNumPyやPyTorchと共有でき、CPUへ不要なコピーをせずGPU上の後処理へ渡す構成も可能です。公式リポジトリには最小構成、対話型ビューアーとovstream、ovphysx連携、SimReady Blender、PTC Onshape Render Studioのサンプルがあります。プレリリースのためAPI互換性や機能は変わり得ます。また、合成センサー出力の精度は実機との差を別途検証する必要があります。

今回のブログ記事が関係する人

ロボット、自動運転、産業機器のシミュレーション担当、合成データを作る機械学習チーム、既存設計アプリへセンサー機能を統合する開発者に関係します。

結局、今回のブログ記事をどう読むべきか

実務上の変化は、Omniverseアプリへ全面移行せず、既存アプリのループからovrtxを必要時に呼び出せることです。ただし現段階はGitHub上のプレリリースです。まず公式サンプルでOpenUSD読込、出力定義、メモリ連携を確認し、一つのセンサーについて実機との差を測ってから工程へ組み込むべきです。