Confluent Cloud、待機中のコンシューマーグループも遅延監視へ追加

Confluent Cloudはio.confluent.kafka.server/コンシューマー_遅延_オフセット 指標の対象を広げ、EMPTY状態になって1日未満のコンシューマーグループの遅延も報告する更新を段階展開しています。

要点

• 一時的にコンシューマーがいないEMPTY グループも、1日未満なら遅延応答へ含まれます。
• 既存クエリの返却データ点と応答サイズが増える可能性があります。
• 展開は段階的で、2026年8月下旬までの完了予定です。

今回の更新で変わること

コンシューマーグループがEMPTYになると、監視上は「利用者がいない」状態ですが、未処理オフセットが消えたわけではありません。今回の変更で短期間のEMPTY グループも遅延指標へ残るため、再起動や一時停止の間に積み上がった遅延を追いやすくなります。コンシューマーが戻る直前まで監視対象から抜けていたケースでは、アラートやダッシュボードの連続性が改善します。

一方、取得対象が増えるため、Metrics APIへ広い条件で問い合わせている環境では応答サイズ、処理時間、保存量、可視化の系列数が増えます。Confluentは古いコンシューマーグループを監査して削除し、可能なら処理のたびに新規グループを作るのではなく既存グループを再起動することを推奨しています。短命な一意グループ IDを大量生成する設計では、今回の変更を契機に命名とライフサイクルを見直したいところです。

段階展開のため、組織やクラスターによって変化が見える時期が異なります。7月6日を境に全環境が同時に変わるとは限りません。監視側では、返却系列数、ペイロード size、API 遅延、保存コスト、EMPTY グループのアラート条件を記録し、展開前後で比較してください。EMPTYを即障害と扱うと再起動中にも通知が増えるため、状態継続時間と遅延量を組み合わせた条件が適しています。

監視条件を変更する際は、稼働中、短時間停止、1日を超えて停止したグループを用意し、返却対象の境界を確認します。系列数の増加で監視基盤側の上限へ近づく場合は、クラスター、環境、重要度で取得対象を絞ります。古いグループの削除は復旧不能な運用変更になり得るため、所有者と最終利用日を確認し、まず不要候補の一覧化から進めてください。

関係する人

Kafka コンシューマーを運用するSRE、Metrics APIを収集する監視基盤担当、グループ IDを設計するアプリケーション開発者に関係します。

対応の目安

古いグループを棚卸しし、応答サイズとアラート件数を監視します。段階展開中はクラスター別に挙動を記録してください。