Apache Iceberg Python 0.11.0 リリース解説: PyIceberg の読み書きと REST Catalog が強化

Apache Iceberg Python 0.11.0 は、PyIceberg の read / write、snapshot management、catalog integration、ORC support、REST scan planning を広く強化するリリースです。公式記事では、380件以上の pull request、50人以上の contributor、28人の first-time contributor が紹介されています。

要点

• delete file lookup、generator-based writes、remote S3 signing、manifest cache など read / write path が改善された
• snapshot ID や時点指定による rollback、current snapshot の直接設定が可能になった
• Entra ID auth manager、REST catalog namespace separator、AWS profile support など catalog 周りが強化された
• PyArrow I/O layer に full ORC read support が追加された
• REST catalog による server-side scan planning の同期 API が追加された
• Python 3.9 が dropped され、Python 3.13 support や aarch64 wheel build が追加された

今回の更新で何が変わるのか

Python 0.11.0 は、PyIceberg を notebook や軽い metadata 操作だけでなく、より実務的な Iceberg client として使いやすくするリリースです。Reads and writes では、DeleteFileIndex による delete file lookup の高速化、memory pressure を下げる generator-based writes、remote S3 signing の connection reuse、multi-process safe ExecutorFactory、manifest cache の O(N²) growth 修正など、規模が大きくなったときに効く変更が並びます。

Snapshot management では、特定 snapshot ID や時点への rollback、current snapshot の直接設定が入りました。Iceberg の強みである snapshot / time travel / rollback を Python からより自然に扱えるようになるため、データ修復、検証、pipeline rollback の自動化に関係します。

Catalog improvements では、Entra ID、REST catalog の namespace separator、namespace_exists、rename_table の namespace validation、REST request の X-Client-Version header、Glue や fsspec S3 の AWS profile support など、クラウドや enterprise 環境で必要になりやすい認証・名前空間・互換性の改善が目立ちます。

対象になりそうなユーザー・チーム

• PyIceberg を ETL、metadata inspection、data quality、notebook automation に使っているチーム
• REST Catalog、Glue、S3、ADLS などを Python client から扱う platform team
• snapshot rollback や scan planning を Python workflow に組み込みたいデータエンジニア
• ORC を含む Iceberg table を Python から読みたい分析基盤チーム

実務でまず確認したいこと

1. Python 3.9 の利用が残っていないか確認する
2. 削除された deprecated methods を呼んでいないか regression test で洗い出す
3. REST catalog の supported endpoints / scan planning が自社 catalog 側でどう返るか確認する
4. S3 / ADLS / Glue / Entra ID など認証設定の挙動を staging で確認する

どう読むべきか

このリリースは、PyIceberg が本番データ基盤の automation layer として使われる前提に近づいていることを示します。特に REST scan planning と snapshot management は、単なる metadata client から operational client への広がりを感じさせます。一方で Python version と deprecated API の breaking changes があるため、移行前の依存棚卸しは必須です。