Confluent Cloudにコネクター・Flink・暗号化の更新

Confluent Cloudの7月16日付リリースノートに、マネージドコネクター、Flink、暗号化と鍵管理、運用監視に関する更新がまとまりました。

今回の更新で変わること

この日の更新は単一機能ではなく、データ取り込み、ストリーム処理、セキュリティ、開発体験へまたがります。JDBC系ソースコネクターではタイムスタンプや増分列の新しいマッピングプロパティが使えるようになり、従来の個別プロパティは非推奨になります。新規構成は新しいマッピングを使い、既存構成では設定名を即時置換せず、オフセットと抽出条件が同じになるかを確認する必要があります。

暗号化ではクライアント側フィールドレベル暗号化が複数のキーボールトを扱えるようになり、同じ鍵素材を地域やプロバイダーをまたいで登録して、保管庫障害時のフェイルオーバーを構成できます。オンプレミスHSMから複数クラウドの保管庫へ鍵を配る構成も対象です。高可用性が増す一方、複数KEKの識別、切り替え順、鍵の更新と失効、災害復旧時の権限を整合させなければ、復号不能や意図しない鍵利用につながります。Google Cloud VPC サービス境界制御と自己管理鍵の組み合わせも、サービス境界内のCloud StorageやCloud KMS利用を強化します。

FlinkではAutopilotのスケーリング判断をイベントログで確認でき、VS Code拡張からUDFプロジェクトの作成、ローカル開発・テスト、アーティファクトのアップロード、UDF登録、Flink SQL実行までを進められます。Kafka Streamsの監視改善、スキーマレジストリのC++クライアント、Tableflowの更新挿入、Flink SQLから外部データベースやAIモデルへの接続リソースを作る機能なども含まれます。機能ごとに一般提供、限定提供、プレビューが混在するため、同日の一覧だから同じサポート条件だと解釈せず、契約とリージョンを個別に確認する更新です。

影響を受ける人

Confluent Cloudのコネクター、Flink、スキーマレジストリ、Tableflow、暗号鍵を運用するデータエンジニア、プラットフォーム、セキュリティチームに関係します。

実務で確認したいこと

非推奨設定の移行では既存オフセットを保った試験を行います。複数キーボールトは実際に片系を停止して復号と復旧を確認し、FlinkやTableflowの新機能は提供状態、対象クラウド、監視・費用を分けて評価します。