Databricks向け新規接続でヌル文字を保持

Fivetranは、2026年7月22日以降に設定したDatabricks向けの新規接続で、文字列中のヌル文字を削除せず書き込むようになりました。

要点

• 対象は7月22日以降に設定するDatabricks向けの新規接続です。
• 従来の書き込み前削除をやめ、文字列のヌル文字を保持します。
• 既存接続の挙動は明示されていないため、新旧接続間で値が異なる可能性があります。
• Deltaテーブルへの格納後、Spark処理、ファイル出力、機械学習用前処理まで確認が必要です。

今回の更新で変わること

Fivetranはこれまで、文字列内の値0x00に当たるヌル文字をDatabricksへ書き込む前に削除していました。ヌル文字は画面で判別しにくい一方、原文、長さ、ハッシュ、トークン化結果を変える文字です。7月22日以降に作成する新規接続では削除せず保持するため、ソースとDatabricks上の値をバイト単位で照合しやすくなります。

影響は取り込みの成否だけでは判断できません。Deltaテーブルに保存できても、Sparkの文字列関数、ユーザー定義関数、Pythonライブラリ、特徴量生成、テキスト埋め込み、CSVやJSONへの書き出しが同じ値を処理できるとは限りません。表示上は同じ文字列に見えても、重複排除や主キー生成、ハッシュベースの変更検知で別の値として扱われることがあります。従来は削除済みの値を前提に学習データや品質規則を作っていた場合、接続再作成がデータ分布の変化として現れる可能性もあります。

公式記載は新規接続を対象とし、既存接続が自動的に切り替わるとは述べていません。移行時はヌル文字を含むテスト行を用意し、Deltaテーブルの値、主要なSpark処理、チェックポイントからの再開、下流ファイル、モデル入力まで追跡するとよいです。業務上ヌル文字を除去する必要がある場合は、取り込み時の暗黙処理ではなく、Bronze層に原文を残したうえでSilver層以降に明示的な正規化を置く方が、変更理由と再処理範囲を説明しやすくなります。

ストリーミングや増分処理では、接続切り替え前後のデータが同じテーブルに混在する可能性も考慮が必要です。取り込み日時や接続世代を追える列を残し、ヌル文字を含む件数とハッシュ差分を期間別に確認できれば、過去データの再処理が必要かを判断しやすくなります。モデル評価用データでは再現性への影響も記録すべきです。

対象になりそうなユーザー・チーム

Databricks向け接続を管理するデータエンジニア、Delta Lake運用者、機械学習基盤担当、品質検査やハッシュ比較を行うチームに関係します。

今すぐ対応が必要か

接続を新設・再作成するチームは、代表データを使って取り込みから下流処理まで試験してください。既存接続のみの場合も、将来の移行条件として記録しておく必要があります。

結局、この更新をどう見るべきか

Databricksに原文をより忠実に残す改善です。レイクハウスの層ごとに原文保持と正規化の責任を分けると、互換性と監査性を両立しやすくなります。