Dataset PreviewでTime Travelによる版間比較が可能に

Palantir FoundryのDataset PreviewでTime Travelを利用し、データセットやIcebergテーブルのコミット履歴を対話的に調査できるようになりました。

要点

• Single version viewで各版のデータとスキーマを確認できます。
• Range viewで追加・削除・変更された行とスキーマ差分を比較できます。
• Bisectで特定の行や値が最初に変わった版を探せますが、検索対象は画面へ読み込まれた版に限られます。

今回の更新で変わること

Dataset PreviewへTime Travelタブが加わり、データセットまたはIcebergテーブルのコミット済み版を時系列で調査できるようになりました。機能はベータです。単に過去のスナップショットを開くだけでなく、一つの版を詳しく見る、二つの版の差を比べる、特定の変化が最初に起きた版を探すという三つの調査方法が用意されています。

Single version viewでは、タイムラインを移動しながら各版のデータとスキーマを確認できます。Refine queryを使うと、裏側のSQLを表示・編集し、行の絞り込み、列の選択、並べ替え、集計を追加できます。作成した問い合わせは別の版へ移動しても引き継がれるため、同じ条件を過去と現在へ適用できます。異常な顧客や商品を同じ条件で追い、どの版から値が変わったかを見る用途に向いています。

Range viewでは、タイムライン上の二点を選び、その間で追加、削除、変更された行を表示します。キー列を指定しない場合、同じ行の編集でも削除と追加として見えます。一意に識別できる列を選ぶと、編集を変更として判定できます。期間内にスキーマが変わった場合は、追加・削除・変更された列も要約されます。比較前に適切なキー列を選ばないと差分の意味を誤るため、主キーに相当する列と重複の有無を確認したいです。

Bisectは、行の追加・削除やセル値の変更が最初に現れた版を履歴から探します。表のセルを右クリックすると、その行または値を入力済みの状態で検索を始められます。ただし検索するのはページへ現在読み込まれている版だけです。長い履歴のすべてを自動探索するとは限らないため、対象期間が読み込まれていることを確認します。また閲覧できるのは保持方針の下でデータが残っている版だけです。今回の更新は原因を自動説明したりデータを復元したりする機能ではないため、特定した版から上流処理や変更記録へ調査をつなげます。

関係しそうなチーム

データ品質担当、Icebergテーブル管理者、障害調査を行う分析・基盤チームに関係します。

実務で確認したいポイント

1. Single version viewで同じSQL条件を複数版へ引き継げることを確認します。
2. Range viewで一意なキー列を選び、行とスキーマの差分を確認します。
3. Bisectの読み込み済み版という制限と、保持方針による閲覧範囲を確認します。

結局、この更新をどう読むべきか

一版の確認、二版の比較、変化点の探索をDataset Previewへまとめたベータ機能です。キー列、読み込み済み版、保持期間という境界を理解し、異常が始まったコミットを上流調査へ渡すために使いたいです。