変更要約: in-scope サービス網羅: デプロイ/実行基盤/IaC(Lambda/ECS/EKS/ECR/API Gateway/Direct Connect/CloudFormation/CDK/CodeArtifact/CodeBuild/CodeDeploy/Service Catalog/SAR/X-Ray)を追加
3.1推論オプションの選択
SageMaker の推論方式（リアルタイム・サーバーレス・非同期・バッチ変換）の違いと、トラフィックや遅延要件に応じた使い分けを理解します。MLA-C01 の「デプロイとオーケストレーション」の出発点です。
学習したモデルは推論（予測の提供）できて初めて価値になります。SageMaker はトラフィックや遅延要件に応じた複数の推論方式を提供します。
3.1.14つの推論方式
- リアルタイム：常時稼働エンドポイントで低遅延。安定したトラフィック向け。
- サーバーレス：トラフィックがない時はゼロにスケール。断続的なトラフィックでコスト効率が良い。
- 非同期（Asynchronous）：大きいペイロード・長い処理時間に対応。キューで受けて結果を返す。
- バッチ変換：エンドポイント不要で、データセット全体をまとめてオフライン推論する。
「常時の低遅延＝リアルタイム」「断続的でコスト重視＝サーバーレス」「大きい入力・長時間＝非同期」「大量データを一括・オフライン＝バッチ変換」 は MLA で頻出です。要件（遅延・トラフィック・ペイロード）で選びます。
推論方式は「遅延・トラフィック・ペイロード・コスト」の4軸で選びます。リアルタイム は常時稼働エンドポイントで一貫した低遅延を出し、Auto Scaling で負荷追従、多数の小さなモデルは マルチモデルエンドポイント（MME）、別モデルを1エンドポイントに同居させるなら マルチコンテナ/推論パイプライン でコストを下げます。サーバーレス推論 はアイドル時にゼロにスケールし断続的トラフィックに最適（ただしコールドスタートあり）。非同期推論（Asynchronous） は大きいペイロード（最大1GB）や長い処理をキュー経由で受け、処理がなければゼロにスケールできます。バッチ変換 はエンドポイント不要でデータセット全体をオフライン一括スコアリングします。リアルタイム系は 本番バリアントで複数モデルに重み付けして A-B もでき、最適なインスタンスやスケール設定の探索には Inference Recommender を使います。判断軸は「常時・低遅延＝リアルタイム」「断続的・コスト＝サーバーレス」「大入力・長時間＝非同期」「大量・オフライン＝バッチ変換」。
| 要件 | 推論方式 |
|---|---|
| 常時アクセス・低遅延 | リアルタイム |
| 断続的・アイドル時コスト不要 | サーバーレス |
| 大きい入力・長い処理 | 非同期 |
| 大量データを一括・オフライン | バッチ変換 |
シナリオ：
①Web アプリの即時推薦、
②夜間に全顧客をスコアリング、
③大きな動画ファイルの解析。
①はリアルタイム（Auto Scaling、トラフィック断続的ならサーバーレス）。
②はバッチ変換（エンドポイント不要で全件）。
③は非同期推論（大ペイロード・長時間をキューで処理）。用途ごとに別方式を選ぶのが定石です。
Q. 常時・低遅延？ リアルタイム。Q. 断続的でアイドル課金を避けたい？ サーバーレス。Q. 大きい入力・長時間？ 非同期。Q. 大量データを一括オフライン？ バッチ変換。Q. 多数モデルを安く同居？ マルチモデルエンドポイント。
混同に注意：
①バッチ変換と非同期推論は別物——バッチはオフライン全件、非同期は個別リクエストを大ペイロード/長時間で処理。
②サーバーレスはコールドスタートがあり厳しい低遅延 SLA には不向き。
③リアルタイムは常時課金——断続的ならサーバーレス。
④非同期/サーバーレスは「ゼロにスケール」可、リアルタイムは最小1台が基本。
リアルタイムエンドポイントは Auto Scaling で負荷に追従できます。複数モデルを1エンドポイントに同居させるマルチモデルエンドポイントでコストを下げられます。
3.1.2この節のまとめ
- リアルタイム/サーバーレス/非同期/バッチ変換を要件で選ぶ
- 負荷追従＝Auto Scaling、複数モデル＝マルチモデルエンドポイント
進捗の記録にはログインが必要です。
理解度チェック
（軽い確認用）Q1. 常時アクセスがあり低遅延で予測を返す必要がある。最も適した推論方式はどれですか？
Q2. 夜間にデータセット全体へまとめて推論をかけたい（リアルタイム性は不要）。最も適した方式はどれですか？
Q3. トラフィックが断続的で、アイドル時はコストをかけたくない。最も適した推論方式はどれですか？