BigQuery 2026年5月12日のリリースノート解説: AI.COUNT_TOKENS function

Google Cloud は 2026年5月12日の BigQuery release notes で、AI.COUNT_TOKENS function を Preview として公開しました。あわせて、一部の generative AI functions で input、output、thought、cache tokens を modality ごとに確認できることも案内されています。

要点

• AI.COUNT_TOKENS function で text input の token count を見積もれる
• 機能は Preview
• 一部の generative AI functions では token usage の内訳を確認できる
• input / output / thought / cache tokens を modality ごとに把握できる
• BigQuery 内で生成AI処理を使う際のコスト予測、制限設計、監査に関係する

今回のリリースノートで語られていること

AI.COUNT_TOKENS は、BigQuery 上で生成AI関数を使う前に、入力 text がどの程度の token 数になるかを見積もるための関数です。BigQuery はすでに managed AI functions を通じて、分類、スコアリング、生成、embedding、document / text processing などを SQL workflow に取り込む方向へ進んでいます。そうなると、従来の scan bytes や slot usage だけでなく、LLM token usage をどう見積もるかが実務上の課題になります。

今回の更新は、その可観測性を高めるものです。token count を事前に見積もれれば、巨大な text column や document-derived text を生成AI関数に渡す前に、コスト、latency、model limit、batch size を調整できます。特に BigQuery 上で agent analytics、Conversational Analytics、document processing、classification、summarization を行う場合、行ごとの text 長が大きくばらつくことがあります。token 見積もりなしに本番 query を回すと、想定以上のコストや失敗が起きやすくなります。

また、一部の generative AI functions で input、output、thought、cache tokens を modality ごとに確認できる点も重要です。AI 機能の利用が増えるほど、どの処理がコストを生んでいるのか、cache が効いているのか、thinking / reasoning 系 token がどれだけ増えているのかを把握する必要があります。BigQuery の governance 文脈では、AI usage を query / job / user / dataset と結びつけて、運用・監査・コスト配賦に使うことが期待されます。

対象になりそうなチーム

• BigQuery の managed AI functions を使う data engineering / analytics team
• SQL workflow に生成AI処理を組み込む AI platform team
• LLM token cost と利用状況を管理する FinOps / governance team

実務で確認したいポイント

まず、生成AI関数に渡している text column や prompt template に対して AI.COUNT_TOKENS を試し、代表データと外れ値の token 数を確認します。次に、token usage visibility を job monitoring や cost allocation とどう接続するかを決めます。Preview 機能なので、本番制御に使う場合は制約と変更可能性も確認が必要です。

結局、この更新をどう見るべきか

AI.COUNT_TOKENS は派手な生成機能ではありませんが、BigQuery 内で AI を実務運用するための重要な基盤です。LLM 処理を SQL に組み込むほど、事前見積もりと利用後の token visibility が欠かせなくなります。