Trainyが実験追跡基盤のPostgresをClickHouseへ移した理由

AI開発基盤を提供するTrainyは、オープンソースの実験追跡サービスPlutoで、分析用のClickHouse Cloudに加えてメタデータ用のClickHouse Managed Postgresを採用しました。Amazon RDSから移行した理由を、データの役割分担、応答速度、運用統合の観点から紹介した顧客事例です。

要点

• 学習指標はClickHouse、実験の作成時刻やハイパーパラメーターなどの関係データはPostgresへ分けています。
• Amazon RDSからの移行後、初回ページ表示は2〜3倍速くなったとTrainyは報告しています。
• 数十万ステップを持つ実験の可視化クエリは、中央値で50〜100ミリ秒としています。
• 数値はTrainy固有の構成による顧客事例であり、一般的なRDSとの性能比較ではありません。

今回のブログ記事で語られていること

Trainyは、GPU群へAIワークロードを割り当てるCLIのKonduktorと、学習結果を比較するオープンソースの実験追跡サービスPlutoを開発しています。Plutoでは、多数の学習実行と数千から数十万のステップを横断して指標を可視化するため、集計に向くClickHouse Cloudを採用しました。学習指標は時系列の観測データに近く、平均、最小値、最大値などを高速に計算する必要があります。一方、実験の作成時刻、開始時のハイパーパラメーター、利用者が付けるメタデータは関係モデルに向くため、Postgresへ置いています。記事は、すべてを一つのデータベースへ寄せるのではなく、分析処理とトランザクション処理を役割で分ける構成を示しています。

当初、このPostgres層はAmazon RDSで動いていましたが、Trainyは利用量に対して初期設定の費用が高かったことと、画面を開くたびに実験メタデータを取得する処理が遅かったことを課題として挙げています。ClickHouse Cloudをすでに利用していたため、同じアカウントでManaged Postgresを試せることも移行の後押しになりました。ClickHouse Managed Postgresはネットワーク接続型ストレージではなく、計算資源の近くにあるローカルNVMeを利用します。記事では、移行時点で約40〜50GBあったメタデータへのアクセスが速くなり、移行前後のセッション比較で初回ページ表示が2〜3倍高速になったとしています。

Plutoの可視化クエリは、数十万ステップを持つ実験でも中央値で50〜100ミリ秒と説明されています。別の複雑な実行状態判定クエリは、以前の10〜15分から5秒へ短縮されたという利用例も紹介されました。ただし、これらはスキーマ、索引、キャッシュ、インスタンス構成、同時実行数を揃えた一般ベンチマークではなく、Trainyの本番テレメトリーと個別クエリに基づく値です。読者は「常に3倍速い」と一般化せず、自社のデータ量とアクセス経路で比較する必要があります。

今後は、ClickHouse上のGPU利用指標とPostgres上の実験メタデータを結び、研究者や案件ごとのGPU費用を見えるようにする構想も示しています。Postgresの変更データをClickPipesでClickHouseへ複製し、分析側でまとめて問い合わせる案です。また、MCP経由でエージェントに実験データを扱わせる方向も挙げています。データベースを同じ提供基盤へまとめる価値は、契約窓口の統一だけでなく、分析用データへの複製や権限制御をどう簡素化できるかで判断する必要があります。

今回のブログ記事が関係する人

機械学習実験追跡サービスの開発者、Postgresと分析データベースを併用するアーキテクト、Amazon RDSの費用や応答時間を見直している基盤担当、GPU利用費を実験単位で分析したいFinOps担当に関係します。

結局、今回のブログ記事をどう読むべきか

この事例の要点は、OLTPとOLAPのどちらか一方を選ぶことではなく、データの役割を分けたまま運用経路を近づけた点です。移行を検討する場合は、ページ表示の内訳、ストレージ待ち、Postgres互換性、バックアップと復旧、ClickHouseへの複製遅延を自社環境で測る必要があります。