Insider One、ClickHouse Cloudで大規模クエリの遅延を70〜75%削減

Insider Oneは、リアルタイム分類、personalization、分析を支えるUnified顧客データベースを自己管理型ClickHouseからClickHouseクラウドへ移行した事例を公開しました。

要点

• ウェブとモバイルなど経路別のデータストアをUCDへ統合し、イベント、属性、ID解決、プロファイルを一元化しています。
• 匿名化した大規模顧客データと実クエリを使うPOCで平均遅延が50〜60%、最大顧客では70〜75%減りました。
• P50からP99までを追い、裾野の長い遅延の予測可能性とクラスター運用負荷の削減を評価しました。

今回のブログ記事で語られていること

Insider Oneはマーケティング担当者向けの顧客エンゲージメント基盤で、Adidas、L’Oréal、MediaMarktなどが利用しています。以前はウェブのパーソナライゼーションとモバイルアプリの顧客対応が別々のデータストアを持ち、同じユーザーをチャネル横断で理解するには追加処理が必要でした。1人の開発者が始めた統合プロジェクトが、イベントデータ、ユーザー属性、ID解決、プロファイル統合を担うUCDへ成長しました。RedshiftとSnowflakeも評価しましたが、オフライン分析ではなく、大量イベントの取り込みとUI上の顧客分類・パーソナライゼーションに必要な低遅延を重視してClickHouseを選びました。

当初はAWS上で自己管理型ClickHouseを運用し、利用拡大に対応していました。しかし大規模顧客、データ量、同時クエリが増えるにつれ、クラスター調整とコスト調整に技術運用時間を使い、製品ロードマップとのトレードオフが大きくなりました。ClickHouseクラウド移行前のPOCでは、大規模顧客データを匿名化して移し、UIからの分類クエリ、絞り込み変更時の対象顧客数、予約配信キャンペーン向け分析処理を再生しました。

大きなアプリケーション変更なしで平均クエリ遅延は50〜60%下がり、データ量が大きい顧客では70〜75%改善しました。チームはP50、P75、P90、P99を測り、平均だけでなく利用者が感じる裾野の遅延が安定したことを重視しています。移行後はSLAに関する性能問題の報告がほぼなくなり、クラスター保守よりUCDの機能開発へ時間を戻せたとしています。今後のAIを活用した顧客体験も、高速で柔軟かつ信頼できるなリアルタイムデータfoundationが前提だという事例です。

今回のブログ記事が関係する人

CDP、リアルタイムのパーソナライゼーション、大規模な顧客分類を運用するデータ基盤チーム、セルフホスト型ClickHouseの調整負荷を抱えるSREに関係します。

結局、今回のブログ記事をどう読むべきか

提供元事例の数値なので一般化はできませんが、匿名化した実データと実クエリ、パーセンタイル別の遅延で移行判断した手順は参考になります。自社でもコンピュート、ストレージ、ネットワーク、同時実行数、コスト、移行負荷を同じPoCで比較する必要があります。