Apache Iceberg Python 0.11.0 リリース解説: PyIceberg の読み書きと REST Catalog が強化

Apache Iceberg Python 0.11.0 は、PyIceberg の read / write、snapshot management、カタログ 連携、ORC サポート、REST scan 計画 を広く強化するリリースです。公式記事では、380件以上の pull request、50人以上の contributor、28人の first-time contributor が紹介されています。

要点

• delete ファイル lookup、generator-based writes、remote S3 signing、manifest cache など read / write path が改善された
• snapshot ID や時点指定による ロールバック、current snapshot の直接設定が可能になった
• Entra ID auth manager、REST カタログ namespace separator、AWS profile サポート など カタログ 周りが強化された
• PyArrow I/O layer に full ORC read サポート が追加された
• REST カタログ による server-side scan 計画 の同期 API が追加された
• Python 3.9 が dropped され、Python 3.13 サポート や aarch64 wheel build が追加された

今回の更新で何が変わるのか

Python 0.11.0 は、PyIceberg を notebook や軽い メタデータ 操作だけでなく、より実務的な Iceberg client として使いやすくするリリースです。Reads and writes では、DeleteFileIndex による delete ファイル lookup の高速化、memory pressure を下げる generator-based writes、remote S3 signing の connection reuse、multi-プロセス safe ExecutorFactory、manifest cache の O(N²) growth 修正など、規模が大きくなったときに効く変更が並びます。

Snapshot management では、特定 snapshot ID や時点への ロールバック、current snapshot の直接設定が入りました。Iceberg の強みである snapshot / time travel / ロールバック を Python からより自然に扱えるようになるため、データ修復、検証、パイプライン ロールバック の自動化に関係します。

カタログ improvements では、Entra ID、REST カタログ の namespace separator、namespace_exists、rename_table の namespace validation、REST request の X-Client-Version header、Glue や fsspec S3 の AWS profile サポート など、クラウドや enterprise 環境で必要になりやすい認証・名前空間・互換性の改善が目立ちます。

対象になりそうなユーザー・チーム

• PyIceberg を ETL、メタデータ inspection、data quality、notebook automation に使っているチーム
• REST カタログ、Glue、S3、ADLS などを Python client から扱う platform team
• snapshot ロールバック や scan 計画 を Python ワークフロー に組み込みたいデータエンジニア
• ORC を含む Iceberg テーブル を Python から読みたい分析基盤チーム

実務でまず確認したいこと

1. Python 3.9 の利用が残っていないか確認する
2. 削除された deprecated methods を呼んでいないか regression テスト で洗い出す
3. REST カタログ の supported エンドポイント / scan 計画 が自社 カタログ 側でどう返るか確認する
4. S3 / ADLS / Glue / Entra ID など認証設定の挙動を staging で確認する

どう読むべきか

このリリースは、PyIceberg が本番データ基盤の automation layer として使われる前提に近づいていることを示します。特に REST scan 計画 と snapshot management は、単なる メタデータ client から operational client への広がりを感じさせます。一方で Python version と deprecated API の 破壊的変更 があるため、移行前の依存棚卸しは必須です。