変更要約: 各節に図(figure)を追加=cert-figure-retrofit。AI-103 第4章を公式 skills measured(2026-04-16版)準拠に全面改稿。旧 AI-102 風(事前構築 Vision+Custom Vision)から「生成中心」へ作り直し:s1=画像・動画の生成と編集(text→image: GPT-image-1/DALL·E、インペインティング=マスク編集、参照メディア、生成・編集コントロール、text→video: Sora・非同期)、s2=マルチモーダル理解(キャプション/視覚QA/alt-text/物体・領域特定)+Content Understanding の視覚特性抽出(single-task/pro-mode・動画分析)+マルチモーダルの責任ある AI(Content Safety 画像モデレーション・画像埋め込みテキストによる間接プロンプトインジェクション・ウォーターマーク/禁止記号/ブランドの視覚ポリシー)
4.1画像・動画の生成と編集
AI-103 のコンピュータービジョンは「認識」より「生成」が中心です。Microsoft Foundry で画像生成モデル・動画生成モデルをデプロイし、テキストプロンプトや参照メディアから画像・動画を生成し、マスクによるインペインティングなどで編集する実装を開発者の視点で理解します。
AI-102 のコンピュータービジョンは「画像を認識する(分類・物体検出・OCR)」が中心でした。AI-103 では重心が変わり、「画像や動画を生成・編集する」ことと「マルチモーダルモデルで柔軟に理解する」ことが中心になります。この節では生成・編集を扱います。実装は Microsoft Foundry で画像生成モデルや動画生成モデルをカタログから選んでデプロイし、SDK/REST で呼び出します。認証は第1章どおりマネージド ID(キーレス)が基本です。
4.1.1画像生成(テキスト → 画像)
画像生成は、テキストプロンプト(「夕暮れの海辺を歩く犬、水彩風」など)から新しい画像を作り出す機能です。Foundry では GPT-image-1 や DALL·E などの画像生成モデルをデプロイして使います。プロンプトに加えて、参照メディア(参考画像)を渡してスタイルや構図を誘導することもできます。生成は 生成コントロール(画像サイズ・品質・生成枚数 n など)で調整します。これは「既存画像を認識する」のではなく「画像を新規に作る」点が、AI-102 までのビジョンとの最大の違いです。
4.1.2画像の編集(インペインティング・マスク)
生成モデルは既存画像の編集にも使えます。代表が インペインティング(inpainting)で、画像の一部を マスク で指定し、そのマスク領域だけをプロンプトに従って描き直す手法です(例:「人物の背景だけを森に置き換える」)。マスクを使わず、プロンプトで画像全体を プロンプト駆動の変更 として加工することもできます。これらは 編集コントロール(どの領域を・どの強さで変えるか)で制御します。生成(新規作成)と編集(既存画像を変える)を区別し、編集では「マスク=変更する領域」という対応を押さえます。
4.1.3動画の生成と編集
AI-103 では動画の生成も範囲です。動画生成モデル(テキスト→動画。例として Sora)を Foundry にデプロイし、テキストプロンプトや参照メディアから短い動画を生成します。生成した動画は、長さの調整やセグメントの差し替えなどで編集できます。動画は画像より計算コストと生成時間が大きいため、非同期での生成・進捗確認を前提に実装する点が開発上のポイントです(第3章のメッセージング/長時間処理の考え方と一貫します)。
| やりたいこと | 手法 | Foundry での実現例 |
|---|---|---|
| テキストから画像を作る | 画像生成 | GPT-image-1 / DALL·E をデプロイしプロンプトを送る |
| 画像の一部だけ描き直す | インペインティング(マスク) | 編集 API に画像+マスク+プロンプトを渡す |
| 参考画像でスタイルを誘導 | 参照メディア | プロンプトに加えて参照画像を渡す |
| テキストから短い動画を作る | 動画生成 | 動画生成モデル(例: Sora)を非同期で呼ぶ |
頻出:
①「テキストから新しい画像を作る」=画像生成モデル(GPT-image-1 / DALL·E)。
②「画像の一部だけプロンプトで描き直す」=インペインティング=マスクで領域指定。
③「参考画像でスタイル/構図を誘導」=参照メディア。
④「テキストから動画」=動画生成モデル(例: Sora)。
⑤生成(新規作成)と編集(既存を変える)を区別。
混同・注意:
①生成(画像を作る)と認識(既存画像を分類/検出する)は別目的——AI-103 の CV は生成中心。
②インペインティング=マスクで指定した領域を描き直す(マスク無しの全体編集と区別)。
③画像生成モデルと動画生成モデルは別のデプロイ。
④動画生成は時間がかかる=同期で待ち続けない(非同期+進捗確認)。
4.1.4この節のまとめ
- AI-103 の CV は生成中心:Foundry で画像生成モデル/動画生成モデルをデプロイして呼ぶ
- 画像生成=テキスト→画像(参照メディアで誘導、サイズ/品質/枚数で調整)
- 編集=インペインティング(マスクで領域指定して描き直す)/プロンプト駆動の変更
- 動画生成=テキスト→動画(例: Sora)。時間がかかるため非同期+進捗確認で実装
進捗の記録にはログインが必要です。
理解度チェック
(軽い確認用)Q1. テキストプロンプトから新しい画像を作り出す Foundry の実装方針はどれですか?
Q2. 画像の一部だけをマスクで指定し、その領域をプロンプトに従って描き直す手法はどれですか?
Q3. テキストプロンプトから短い動画を生成したい場合に使うモデルはどれですか?
Q4. 画像生成で、参考画像を渡してスタイルや構図を誘導することを何と呼びますか?

