変更要約: 各節に図(figure)を追加=cert-figure-retrofit。AI-103 第5章に音声ソリューションの節(s3)を追加(公式テキスト分析ドメインの「音声」サブ領域=STT/TTS、エージェントの音声モダリティ、カスタム音声/カスタムニューラルボイス、音声からのマルチモーダル推論、音声翻訳)。既存 s1(Azure AI Language)・s2(翻訳/カスタム言語モデル)は非破壊で維持
5.3音声ソリューションの実装
公式テキスト分析ドメインに含まれる「音声」を扱います。Azure AI Speech による音声↔テキスト(STT/TTS)、エージェントの音声モダリティとカスタム音声、音声からのマルチモーダル推論、音声翻訳を開発者の視点で理解します。
公式の「テキスト分析」ドメインには 音声 も含まれます。会話型のエージェントを声で操作させたい、議事録を音声から起こしたい、といった要件に応えるのが Azure AI Speech(Foundry Tools)です。開発者は STT/TTS の API を呼び、必要なら音声をエージェントのモダリティとして組み込みます。
5.3.1音声 ↔ テキスト(STT / TTS)
基本は2方向です。音声認識(STT, speech-to-text) は話した音声をテキストに変換します(文字起こし・音声入力)。音声合成(TTS, text-to-speech) はテキストを音声に変換します(読み上げ・音声応答)。エージェントを声で対話させるときは、ユーザーの発話を STT でテキスト化→生成/エージェントで処理→応答を TTS で読み上げ、という流れで音声を入出力のモダリティにします。
5.3.2エージェントの音声モダリティとカスタム音声
汎用モデルで認識精度が足りない場合は カスタム音声(カスタム音声モデル) を使います。専門用語・製品名・なまり・雑音環境に合わせて認識を適応させられます。一方、ブランド独自の声で読み上げたい場合は カスタムニューラルボイス(合成側のカスタム)を使います。認識側のカスタム(STT を適応)と合成側のカスタム(独自の声を作る)は別物である点に注意します。
5.3.3音声からのマルチモーダル推論と音声翻訳
近年は音声を直接モデルに渡し、文字起こしを介さず 音声からのマルチモーダル推論 を行う選択肢もあります(音声対応のマルチモーダルモデルに音声入力)。また 音声翻訳 は、ある言語の音声を別言語へ変換するもので、Azure AI Speech や言語モデル/Foundry Tools を使って実装します。「音声→別言語」が音声翻訳、「テキスト→別言語」は第2節の Translator、と対応を区別します。
| やりたいこと | 手段 |
|---|---|
| 話した音声を文字起こし | 音声認識(STT) |
| テキストを読み上げる | 音声合成(TTS) |
| 専門用語/なまりの認識精度を上げる | カスタム音声(認識側) |
| ブランド独自の声で読み上げ | カスタムニューラルボイス(合成側) |
| 音声をそのまま理解/推論 | 音声対応マルチモーダルモデル |
| 音声を別言語へ | 音声翻訳 |
頻出:
①「音声→テキスト」=STT、「テキスト→音声」=TTS。
②エージェントを声で対話=STT→処理→TTS の音声モダリティ。
③専門用語/なまりの認識改善=カスタム音声(認識側)、独自の声で読み上げ=カスタムニューラルボイス(合成側)。
④「音声→別言語」=音声翻訳(テキスト翻訳=Translator と区別)。
⑤音声を直接渡して推論=音声対応マルチモーダルモデル。
混同・注意:
①STT(認識)とTTS(合成)は逆方向。
②カスタム音声(認識を適応)とカスタムニューラルボイス(独自の声を作る)は別。
③音声翻訳(音声→別言語)とテキスト翻訳(Translator)を取り違えない。
④文字起こしを介す方式と音声を直接渡すマルチモーダルは別アプローチ。
5.3.4この節のまとめ
- STT=音声→テキスト/TTS=テキスト→音声。エージェントの音声モダリティは STT→処理→TTS
- カスタム音声(認識側を適応)とカスタムニューラルボイス(合成側の独自の声)は別物
- 音声翻訳=音声→別言語(テキスト翻訳=Translator と区別)/音声を直接渡すマルチモーダル推論も選択肢
進捗の記録にはログインが必要です。
理解度チェック
(軽い確認用)Q1. 話した音声をテキストに変換する機能はどれですか?
Q2. 専門用語やなまりが多い現場で音声認識の精度を上げたい場合の方針はどれですか?
Q3. 日本語の音声をそのまま英語へ変換したい場合に該当するのはどれですか?

