Apache Iceberg Rust 0.8.0 リリース解説: V3 metadata と DataFusion 統合が進む

Apache Iceberg Rust 0.8.0 は、Rust 実装が Iceberg V3 メタデータ、DataFusion 連携、delete ファイル handling、カタログ operation を広げたリリースです。公式記事では、2025年11月下旬から2026年1月上旬までの開発成果として、144件の pull request と 37人の contributor が紹介されています。

要点

• Iceberg V3 メタデータ format に対応し、V3 manifest や delete ファイル content を扱えるようになった
• DataFusion では partitioned テーブル への INSERT INTO、partition-aware sorting、SQLLogicTest、parallel writer が強化された
• position delete と equality delete の混在、delete ファイル cache、case-sensitive equality delete など delete ファイル 周りが進んだ
• Arrow reader、compressed メタデータ、スキーマ evolution、メタデータ column など読み取り性能と互換性が改善された
• smol runtime の廃止、Rust 1.88 への MSRV 引き上げなど 破壊的変更 も含む

今回の更新で何が変わるのか

Rust 0.8.0 の意味は、Iceberg Rust が単なる周辺実装から、DataFusion や Python binding とつながる実用的な実装へ近づいている点にあります。V3 メタデータ サポート は、Iceberg テーブル spec の新しい方向に Rust 実装が追随するための重要な土台です。delete ファイル content を含む V3 manifest を扱えることは、行レベル変更や テーブル evolution を含む現実の lakehouse 運用に関係します。

DataFusion 連携では、partitioned テーブル への INSERT INTO、partition column projection、repartitioning operator、partition-aware sorting、parallel writer が入りました。これは、Rust / Arrow / DataFusion 系の query stack から Iceberg テーブル を読み書きする構成を考えるチームにとって重要です。

delete ファイル handling の改善も実務寄りです。position delete と equality delete が同じ FileScanTask に混在するケース、delete ファイル の cache 共有、binary type、large deletes での stack overflow、scan deadlock、row group filtering、case-sensitive matching など、実運用で出やすい境界条件に踏み込んでいます。

対象になりそうなユーザー・チーム

• Rust / DataFusion / Arrow を使った analytical engine を開発しているチーム
• Python binding の pyiceberg-core を通じて Rust 実装の影響を受けるユーザー
• Iceberg V3 メタデータ や delete ファイル semantics を早めに検証したい platform team
• Java 以外の Iceberg implementation maturity を追っているアーキテクト

実務でまず確認したいこと

1. Rust 1.88 以上への toolchain 更新が問題ないか確認する
2. smol runtime 依存や deprecated API の利用有無を確認する
3. DataFusion 51 / Arrow 57 への依存更新が周辺ライブラリと衝突しないか見る
4. V3 メタデータ、delete ファイル、スキーマ evolution を含む representative テーブル で read / write を検証する

どう読むべきか

このリリースは、Iceberg Rust が テーブル-format semantics の深い部分へ入ってきたことを示します。Rust / DataFusion 系のデータ基盤では、Iceberg を後付け コネクター として扱うだけでなく、query 計画 や write path の中核に入れる選択肢が広がります。一方で 破壊的変更 もあるため、production 導入では version pinning と regression テスト が必要です。