Databricks、Lakeflow外部アクセスとSharePoint取り込みを更新

Databricks は 2026年6月5日付の製品リリースノートで、Lakeflow と Lakeflow Connect に関わる二つの更新を公開しました。パイプラインが管理するストリーミングテーブル / マテリアライズドビューを外部 Delta / Iceberg クライアントから読めるようにするプレビューと、Managed SharePoint コネクターの構造化ファイル取り込み・ファイルメタデータ対応です。

要点

• Lakeflow パイプラインが管理するストリーミングテーブル / マテリアライズドビューを外部 Delta / Iceberg クライアントから読めるようにするプレビューが追加された
• Unity カタログと Iceberg カタログ REST API を通じて、データコピーなしに外部アクセスを有効化できる
• Managed SharePoint コネクターが CSV、JSON、XML、Excel、Parquet、Avro、ORC などの構造化ファイル取り込みに対応した
• ファイルメタデータ取り込み、ファイルフィルター、スキーマ進化モード、スキーマヒントも対象になる
• データ基盤チームは、外部公開境界、権限、ファイル取り込み設計、スキーマ変更時の責任分界を合わせて確認する必要がある

今回のリリースノートで語られていること

今回の Databricks リリースノートは、Lakeflow を単にパイプライン実行基盤として使うだけでなく、外部エンジンとの相互運用と、業務ファイル取り込みの範囲を広げる内容です。一つ目の更新は、パイプラインが管理するストリーミングテーブルとマテリアライズドビューに対して、外部の Delta / Iceberg クライアントが読み取りアクセスできるようにするプレビューです。Unity カタログと Iceberg カタログ REST API を経由するため、外部利用のためにデータを別の場所へコピーするのではなく、管理されたテーブルやビューをそのまま参照させる構成が想定されています。

この更新は、Databricks 内で作ったデータ成果物を、他の分析エンジン、オープンテーブル形式、データ共有先、既存の外部ワークロードから利用したい組織に関係します。データコピーを減らせれば、重複保存、遅延、整合性ずれ、不要なエクスポート運用を減らせます。一方で、外部から読める範囲が広がるため、Unity カタログ上の権限、Iceberg 経由のアクセス制御、監査、データ分類、外部クライアント側の認証を確認する必要があります。特にストリーミングテーブルやマテリアライズドビューは継続的に更新されるため、利用者がどの時点のデータを読んでいるのか、スキーマ変更やパイプライン停止時にどう振る舞うのかも運用論点になります。

二つ目の更新は、Lakeflow Connect の Managed SharePoint コネクターです。従来の unstructured-only な取り込みから、CSV、JSON、XML、Excel、Parquet、Avro、ORC といった構造化ファイルの取り込みへ対象が広がり、ファイルメタデータの取り込み、ファイルフィルター、スキーマ進化モード、スキーマヒントも扱えるようになります。SharePoint は部門別の業務ファイル、取引先資料、予算表、ログ、運用台帳などが混在しやすい場所です。そこから Databricks へ取り込む際に、形式ごとに別の接続や手作業を組み合わせるのではなく、管理されたコネクターで取り込み条件とスキーマ扱いを揃えられる点が実務上の意味になります。

実務上は、外部アクセスと SharePoint 取り込みを別々の機能としてではなく、データプロダクトの流入と流出を広げる更新として読むべきです。SharePoint から多様な業務ファイルを取り込み、Lakeflow で管理されたテーブルやビューとして整備し、それを外部 Delta / Iceberg クライアントから読む構成が取りやすくなります。一方で、取り込み元のファイル命名、フォルダー構造、スキーマ変更、メタデータの扱い、外部公開先の権限が曖昧なままだと、データ品質や監査の問題も広がります。Lakeflow を使うチームは、パイプラインの実行成功だけでなく、取り込み契約、スキーマ進化、公開先、監査ログまでを運用設計に含める必要があります。

実務で確認したいポイント

外部読み取りアクセスを有効にする前に、対象となるストリーミングテーブル / マテリアライズドビュー、外部クライアント、認証方式、許可するスキーマ、監査ログ、障害時の責任分界を整理する必要があります。データコピーが不要になる利点は大きい一方で、外部から直接参照されるデータは権限ミスやスキーマ変更の影響も広がりやすくなります。

SharePoint コネクターについては、取り込むファイル形式、対象フォルダー、ファイルフィルター、ファイルメタデータの保持方針、スキーマヒント、スキーマ進化モードを事前に決めておく必要があります。特に Excel や CSV は部門運用で列名や型が変わりやすいため、変更時にパイプラインが止まるのか、列を追加するのか、別テーブルに退避するのかを確認しておくべきです。

結局、この更新をどう見るべきか

6月5日の Databricks 更新は、Lakeflow の成果物を外部に開きやすくしつつ、SharePoint 由来の構造化ファイルをより管理された形で取り込むものです。取り込みと公開の範囲が広がるほど、権限、データ契約、スキーマ変更、監査を同時に整える必要があります。