BigQuery向け新規接続でヌル文字を保持

Fivetranは、2026年7月22日以降に設定したBigQuery向けの新規接続で、文字列中のヌル文字を削除せず書き込むようになりました。

要点

• 7月22日以降に設定した新しいBigQuery向け接続が対象です。
• 従来は書き込み前に削除していたヌル文字を、新規接続では保持します。
• 既存接続が同じ挙動へ変わるかは公式記載だけでは判断できません。
• BigQueryでの保存だけでなく、関数、比較、CSV出力、接続先ツールまで試験する必要があります。

今回の更新で変わること

ヌル文字は文字列に含まれる値0x00で、画面では空白のように見えることがあります。Fivetranは従来、BigQueryへ書き込む前にこの文字を削除していました。同期が成功してもソースの値とBigQuery上の値がバイト単位では一致せず、原文比較やハッシュ検証で差が出る状態です。7月22日以降に作る新規接続ではヌル文字を保持するため、ソースの文字列をより忠実に移せます。

ただし、格納できることと業務処理が問題なく動くことは同じではありません。文字列の長さ、正規表現、置換、JSON変換、ハッシュ、外部テーブルとの結合などで、見えない一文字が結果を変える可能性があります。BigQueryからCSVへ出力したデータや、スプレッドシート、BIツール、外部APIへ渡した値がヌル文字を許容しない場合もあります。従来の削除を暗黙の前処理として利用していたパイプラインでは、接続再作成後に初めてエラーが出るおそれがあります。

公式記載は新しい接続に限定され、既存接続の切り替え方法や再同期の要否には触れていません。同じテーブルを旧接続から新接続へ移行する場合、件数や通常の目視確認だけでは差を見逃します。ヌル文字を含む既知のレコードを準備し、取り込み後のコードポイント、主要SQL、ハッシュ、エクスポート結果を比較すべきです。下流処理でヌル文字を除く必要があるなら、Fivetranによる暗黙削除に頼らず、変換処理として明示し、原本列を残す設計が追跡しやすくなります。

品質監視では、NULL件数とは別にヌル文字を含む文字列の件数を測る必要があります。接続切り替えの前後でこの指標と代表クエリーの結果を保存すれば、Fivetranの変更による差と、ソース側の入力変化を区別しやすくなります。データ契約に許容文字を定めている場合は、その規則も更新対象です。

対象になりそうなユーザー・チーム

BigQuery向け接続を新設・再作成するデータエンジニア、分析基盤担当、データ品質担当、文字列の完全一致やエクスポートを扱うチームに関係します。

今すぐ対応が必要か

新規接続や移行を予定している場合は事前試験が必要です。既存接続だけを使うチームは緊急対応よりも、接続再作成時の互換性項目として運用手順へ追加してください。

結局、この更新をどう見るべきか

BigQueryへ移す値の忠実性を高める変更です。見えない文字がSQLや外部出力へ与える影響まで確認し、必要な正規化を明示的な処理へ移す契機になります。