Azure AIが一つの音声内の多言語切り替えを自動認識

Azure AIの音声サービスで、一つのリアルタイム音声内に現れる複数言語を自動検出し、最終文字起こしを補正する多言語機能が公開プレビューになりました。

要点

• セッション前にロケールや候補言語一覧を指定せず、発話途中の言語切り替えも認識します。
• 途中結果の応答速度を維持し、最終結果だけを多言語モデルで補正します。
• 25言語、29ロケールを対象とし、公開プレビューは6リージョンで提供されます。

今回のブログ記事で語られていること

従来の最終文字起こし補正は、セッション開始前に一つの言語を指定する必要がありました。しかし実際の会話では、文の途中で言語を切り替えたり、別言語の商品名や人名を混ぜたり、利用者ごとに話す言語が変わったりします。今回の多言語版は候補一覧を事前に渡さず、同じ音声ストリームから言語を自動検出します。低遅延の途中結果を返す契約は維持し、発話終了後の再認識処理を多言語化することで、保存や要約へ使う最終結果の精度を高めます。

公式記事は、対象となる主要ロケールの評価で平均の単語誤り率が標準リアルタイムモデルより相対的に約10%低下し、長い発話、固有名詞、複数言語が混じる音声では相対的に二桁の低下が見られたと説明しています。これは絶対的な正解率の保証ではなく、言語、録音環境、話者、内容によって変わります。途中結果の最初の応答には追加待ち時間がありませんが、最終区間は発話を受け取った後に補正するため、小さな待ち時間が加わる場合があります。

公開プレビューは25言語、29ロケールの混在を対象にし、East US、West US、North Europe、Central India、Southeast Asia、Japan Eastの6リージョンで提供されます。話者分離も含まれます。一方、一般提供の単一言語版は19ロケール、22リージョンで、専門用語リストも利用できます。言語が既知で専門語の精度を優先する処理と、言語を決められない会話を扱う処理では選択肢が異なります。

導入時はSpeech SDK 1.50以降を使い、SpeechConfigの最終補正設定と、候補を指定しない言語自動検出設定を認識器へ渡します。検証用音声には、単一言語だけでなく、同じ発話内の切り替え、別言語の固有名詞、短い相づち、雑音、複数話者を含める必要があります。途中結果で表示した言語と最終結果で確定した言語が変わる場合に、画面や保存先が正しく更新されるかも確認してください。

公開プレビューのため、対応地域、品質、契約条件が一般提供版と同じとは限りません。規制やデータ所在地の要件がある音声を扱う場合は、利用リージョンと保存処理を確認し、単一言語版へ戻せる経路を用意します。最終結果だけを評価すると対話体験の一時的な誤表示を見逃すため、途中と最終の双方を記録して比較するのが重要です。

今回のブログ記事が関係する人

国際的な会議、旅行、顧客対応、字幕、音声エージェントを開発するチームと、多言語の認識品質を評価する担当者に関係します。

結局、今回のブログ記事をどう読むべきか

言語候補の管理を減らし、現実の言語切り替えを一つのストリームで扱うための公開プレビューです。対応言語数だけで判断せず、自社の混在音声で途中表示、最終精度、待ち時間を一緒に検証する必要があります。