変更要約: 各節に図(figure)を追加=cert-figure-retrofit。AI-901 第6章を新規作成。ドメイン2の不足サブ領域を補完:テキストと音声の実装(Azure AI Language/Azure AI Speech=STT/TTS/音声翻訳、マルチモーダルで音声プロンプト応答)+コンピュータービジョンと画像生成の実装(マルチモーダル/Azure AI Vision=OCR・物体検出、画像生成モデル)。既存 ch1-5 の relatedSections 非破壊のため末尾 ch6 として追加。
6.2コンピュータービジョンと画像生成の実装
Foundry で「画像を理解する(ビジョン入力)」と「画像を作る(画像生成)」の2つの能力を実装する方法を理解します。マルチモーダルモデルや Azure AI Vision による画像解釈・OCR と、生成モデルによるテキストからの画像生成を、用途別の使い分けとともに押さえます。
画像に関わる実装には、性質の異なる2つの能力があります。
①画像を理解する(ビジョン入力)——写真や図の内容を認識・説明・分類する。
②画像を作る(画像生成)——文章の指示から新しい画像を生成する。AI-901 では、この2つを取り違えないことと、それぞれを Foundry でどう実装するかを押さえます。理解は「入力が画像」、生成は「出力が画像」と覚えると区別できます。
6.2.1画像を理解する(ビジョン入力)
画像の内容を扱う実装には2つの道があります。
①デプロイ済みのマルチモーダルモデルにプロンプトと一緒に画像を渡し、「この写真に何が写っているか」「このグラフの要点は」などを柔軟に解釈させる。
②用途特化の Azure AI Vision(Foundry Tools)で、OCR(文字認識, Read)、物体検出、画像キャプション、タグ付け、顔検出 といった決まった分析を学習済みで行う。会話的・任意の質問にはマルチモーダルモデル、決まった抽出(特に画像内の文字=OCR)には Azure AI Vision、という使い分けが基本です。
6.2.2画像を作る(画像生成)
新しい画像を生み出すには、画像生成モデル(text-to-image の生成モデル。カタログの DALL·E など)を使います。文章のプロンプト(例:「夕暮れの海辺を描いた水彩画」)から画像を生成し、他のモデルと同様にデプロイして呼び出します。これは「新しいコンテンツを作る」ため生成 AI の一種であり、画像を認識するビジョンとは目的が逆です。AI-901 では「新しい視覚的出力を作る=生成モデル」「既存の画像を解釈する=マルチモーダルモデル/Azure AI Vision」という対応を押さえます。
| やりたいこと | 能力 | 手段 |
|---|---|---|
| 写真の内容を自由に質問 | 画像を理解(ビジョン入力) | デプロイ済みマルチモーダルモデル |
| 画像内の文字を読み取る | OCR(文字認識) | Azure AI Vision(Read) |
| 物体やキャプションを得る | 画像分析 | Azure AI Vision |
| 指示文から新しい画像を作る | 画像生成(出力が画像) | 画像生成モデル(DALL·E 等) |
OCR はコンピュータービジョンの一機能: 画像内の文字を読み取る OCR は、ビジョンの代表的な能力です。一方、請求書やフォームから項目を構造化して抽出するのは Azure Content Understanding(第5章)の役割で、OCR を内部で使いつつ「どの値が金額か」まで構造化します。「文字を読む(OCR)」と「項目を構造化抽出(Content Understanding)」を混同しないようにします。
混同に注意:
①画像を理解(入力が画像)と画像を生成(出力が画像)は目的が逆。
②自由な質問=マルチモーダルモデル、決まった分析/OCR=Azure AI Vision。
③画像生成は生成 AI の一種(コンピュータービジョンではない)。
④OCR(文字を読む)とContent Understanding(項目を構造化抽出)を取り違えない。
頻出:「写真の内容を自由に説明させる」=マルチモーダルモデル、「画像内の文字を読み取る」=Azure AI Vision(OCR/Read)、「指示文から新しい画像を作る」=画像生成モデル(生成 AI)、「請求書から金額を構造化抽出」=Content Understanding。入力が画像か出力が画像か、決まった分析か自由な応答か、で判断します。
6.2.3この節のまとめ
- 画像を理解(入力が画像):自由な質問=マルチモーダルモデル/決まった分析・OCR=Azure AI Vision
- 画像を生成(出力が画像):テキストから新画像=画像生成モデル(DALL·E 等)=生成 AI の一種
- OCR はビジョンの一機能。項目の構造化抽出は Content Understanding(別物)
- いずれも Foundry でモデルをデプロイ/サービスを接続して実装
進捗の記録にはログインが必要です。
理解度チェック
(軽い確認用)Q1. 指示文(プロンプト)から新しい画像を作り出す実装に使うのはどれですか?
Q2. 画像の中に写っている文字(レシートの文字など)を読み取りたい場合に最適な機能はどれですか?
Q3. 「画像を理解すること」と「画像を生成すること」の違いとして正しいものはどれですか?
Q4. 写真について「何が写っていますか?」のような自由な質問に会話的に答えさせたい場合に最適なのはどれですか?
Q5. 請求書PDFから「金額」を項目として構造化抽出したい場合に最適なのはどれですか?(画像内の文字を単に読むのではなく構造化したい)
Q6. 画像生成はどの大きな分類に最も近いですか?

