Apache Spark 4.2がセマンティック層とリアルタイム処理を拡張

DatabricksはApache Spark 4.2を紹介し、指標ビュー、Spark Connect、Python、ベクトル検索、地理空間データ、変更データ処理、低遅延ストリーミングにまたがる主要機能をまとめました。

今回のブログ記事で語られていること

Spark 4.2では、Metric Views（指標ビュー）が標準的なセマンティック層として加わります。売上や顧客単価のような指標を一度定義し、SQL、ダッシュボード、AI利用者が同じ計算規則を共有できる仕組みです。個々の分析で集計式を繰り返すより、指標定義とアクセス制御を一か所で管理しやすくなります。Spark Connectも拡張され、クライアントとサーバーを分離した構成で利用できるAPIや言語の範囲が広がります。

PythonではArrowを使うUDFが標準の実行経路となり、Pandas 3への対応も進みました。既存のPandas UDFや型変換を移行する場合は、null、時刻、例外、依存ライブラリの差を確認する必要があります。SQLと分析機能では、ベクトル型の関数とNEAREST BYによる近傍検索、GEOMETRYとGEOGRAPHYによる地理空間データの扱いが追加され、検索や位置情報処理を外部の独自処理へ逃がさず表現できる範囲が広がります。

データパイプラインでは、変更データを取り込むAuto CDC、テーブルの変更履歴を参照するCHANGES、Data Source V2の改善が紹介されています。ストリーミングではReal-Time ModeをPySparkから利用できるようになり、従来より低い遅延を求める処理をPython中心のチームでも試しやすくなります。長時間動く処理では、チェックポイント、状態、スキーマ変更、再起動時の意味が重要です。短いバッチが成功しただけで移行を決めず、旧版のチェックポイントから再開できるか、変更データが重複・欠落しないかを複製環境で確認する必要があります。

記事によると、Spark 4.2には1,900件を超えるコミットと260人を超えるコントリビューターの成果が含まれます。DatabricksではRuntime 19のベータ版から4.2系を試せると案内していますが、Apache Spark本体の公開と、各クラウドや管理ランタイムでの提供時期・構成は同一ではありません。利用中のRuntime、Scala・Java・Python、Delta Lake、コネクター、ライブラリの組み合わせを確認し、結果、クエリ計画、実行時間、メモリー、監視の回帰を一組で評価する必要があります。

今回のブログ記事が関係する人

Spark SQL、PySpark、構造化ストリーミングを使うデータエンジニア、ライブラリ作者、Databricks Runtimeを管理するプラットフォームチームに関係します。

結局、今回のブログ記事をどう読むべきか

指標ビュー、ベクトル検索、変更データ取り込み、リアルタイムモードのどれを採用するかを先に絞り、代表ジョブの結果、クエリ計画、実行時間、シャッフル、メモリーを旧版と比較します。PythonとJavaの依存関係、コネクター、チェックポイント再開、失敗時の切り戻しまで含めて検証します。