Managed Data Lakeの新規接続でヌル文字を保持

Fivetran Managed Data Lakeサービスは、2026年7月22日以降に設定した新しい接続で、文字列に含まれるヌル文字を削除せずデータレイクへ書き込むようになりました。

要点

• 対象は2026年7月22日以降に設定するManaged Data Lakeサービスの新規接続です。
• 従来はデータレイクへ書き込む前にヌル文字を削除していましたが、新しい接続では保持します。
• 既存接続の挙動変更は公式記載から確認できないため、新旧接続を同じ扱いにしないことが重要です。
• ファイル形式、クエリーエンジン、エクスポート先がヌル文字を扱えるか事前検証が必要です。

今回の更新で変わること

Managed Data Lakeサービスでは、ソースの文字列値をデータレイクへ書き込む前にヌル文字を取り除いていました。ヌル文字は値0x00で表され、通常のテキストでは目に見えません。それでも、原文の完全保存、バイト列のハッシュ比較、監査用コピー、後続処理の再現性にとっては値の一部です。7月22日以降に作る新規接続ではこの文字を保持するため、ソースとデータレイクの差が小さくなります。

一方、保持された値を受け取る側が対応しているとは限りません。Parquetなどのファイルへ正常に書き込めても、カタログ登録、SQL関数、正規表現、CSV変換、BIツールへの取り込みでエラーや表示の打ち切りが起こる可能性があります。これまでFivetran側の削除によって表面化しなかった入力品質の問題が、接続を作り直した後に現れることも考えられます。ソース忠実性が上がる変更と、下流互換性の確認は分けて評価する必要があります。

公式記載は「7月22日以降に設定した新しい接続」を対象にしています。既存接続が自動的に同じ挙動へ変わることや、設定で切り替えられることまでは説明していません。同じソースから旧接続と新接続を並行稼働させると、行数は一致しても文字列やハッシュが異なる可能性があります。切り替え試験ではヌル文字を含む既知の行を用意し、保存ファイル、カタログ、代表クエリー、再同期、エクスポートまで追うのが有効です。既存接続へ適用する方法や再同期の要否は、必要に応じてFivetranへ確認すべきです。

監視にも工夫が要ります。単純な欠損率や行数だけでは変化を捉えにくいため、制御文字を含む行数や、正規化前後のハッシュ差分を移行期間だけ計測すると原因を切り分けやすくなります。データ契約に許容文字の条件がある場合は、原文保持と利用時の正規化を別の規則として文書化するとよいでしょう。

対象になりそうなユーザー・チーム

Managed Data Lakeサービスの接続を新設・再作成するデータエンジニア、レイクハウス管理者、データ品質担当、原文保存やハッシュ照合を行う監査チームに関係します。

今すぐ対応が必要か

新しい接続を作る予定があるチームは、ヌル文字を含む試験データで下流互換性を確認してください。既存接続だけを使う場合も、将来の再作成で値が変わり得ることを移行手順へ記録すると安全です。

結局、この更新をどう見るべきか

データレイクでの原文忠実性を高める変更です。ただし、新旧接続の境界と下流ツールの受け入れ可否を確認して初めて、安全な改善として利用できます。