変更要約: in-scope サービス網羅: 監視/運用/コスト/セキュリティ(CloudWatch Logs/DevOps Guru/Systems Manager/Secrets Manager/Compute Optimizer/Trusted Advisor/Chatbot/Billing/Cost Explorer/Budgets/Organizations)を追加
4.1モデルの監視とドリフト対応
SageMaker Model Monitor によるデータ/モデルのドリフト検出、CloudWatch によるエンドポイント監視、ドリフト検知をトリガーとした再学習を理解します。MLA-C01 の「監視・保守・セキュリティ」の出発点です。
本番のモデルは時間とともに精度が劣化（ドリフト）します。継続的に監視し、必要に応じて再学習する運用が重要です。
4.1.1監視とドリフト検出
- Model Monitor：本番データを学習時のベースラインと比較し、データドリフト/モデル品質ドリフト/バイアスドリフトを検出する。
- CloudWatch：エンドポイントの遅延・エラー率・呼び出し数などを監視し、アラームを出す。
- 再学習：ドリフト検知やスケジュールをトリガーに、Pipelines で再学習・再デプロイを自動化する。
「本番でモデル精度が劣化＝データ/モデルドリフト（Model Monitor で検出）」「検知→再学習（Pipelines）」「エンドポイントの遅延/エラー監視＝CloudWatch」 は MLA で頻出です。ドリフトの原因はデータ分布の変化です。
本番モデルは時間とともに劣化するため、「何を監視し、何をトリガーに再学習するか」を設計します。SageMaker Model Monitor は学習データから ベースライン を作り、本番の入力/予測がどれだけ乖離したかを定期評価して4種のドリフトを検出します：データ品質ドリフト（入力分布の変化＝共変量シフト）、モデル品質ドリフト（正解ラベルと比較した精度低下）、バイアスドリフト（属性間の偏りの変化）、特徴量寄与ドリフト（重要度の変化）。エンドポイント自体の健全性（レイテンシ・エラー率・呼び出し数・インスタンス使用率）は CloudWatch で監視し、リクエスト/レスポンスのキャプチャは Data Capture で S3 に保存します。劣化を検知したら EventBridge→SageMaker Pipelines で再学習・再デプロイを自動化し、モデルの鮮度を保ちます（前章の MLOps と接続）。判断軸は「精度劣化の原因＝ドリフト（Model Monitor）」「検知→再学習（Pipelines）」「エンドポイント運用指標＝CloudWatch」。ドリフトの根因はデータ分布の変化なので、ラベル取得が遅い場合は プロキシ指標で監視します。
| 監視したいもの | 使うもの |
|---|---|
| 入力分布/精度/バイアスの変化 | Model Monitor（ドリフト） |
| 遅延・エラー率・使用率 | CloudWatch |
| 入出力の記録 | Data Capture → S3 |
| 劣化時の再学習 | EventBridge → Pipelines |
シナリオ：リリース時は高精度だったレコメンドが数か月で劣化。 ユーザー嗜好の変化によるデータ/モデル品質ドリフトが原因。Model Monitor のベースライン比較で検知し、エンドポイントの遅延/エラーは CloudWatch で監視。ドリフト超過を EventBridge で受けて SageMaker Pipelines の再学習を起動、評価ステップ通過後に新モデルへ段階デプロイします。
Q. 本番で精度が落ちる原因？ データ/モデルのドリフト。Q. 検出は？ Model Monitor（ベースライン比較）。Q. 遅延/エラー監視は？ CloudWatch。Q. 入出力の記録は？ Data Capture。Q. 検知後の再学習は？ EventBridge→Pipelines。
混同に注意：
①Model Monitor＝ドリフト/品質、CloudWatch＝エンドポイント運用指標——役割を取り違えない。
②モデル品質ドリフトには正解ラベルが必要——遅延時はプロキシ/データ品質ドリフトで代替。
③Model Monitor は検知のみ——再学習/ロールバックは別途自動化。
④Data Capture を有効化しないと後から入出力を分析できない。
Model Monitor は学習データから「ベースライン」を作成し、本番の入力/予測がそこからどれだけ乖離したかを定期的に評価します。
4.1.2この節のまとめ
- Model Monitor（ドリフト検出）＋CloudWatch（エンドポイント監視）
- ドリフト検知を再学習（Pipelines）につなぐ
進捗の記録にはログインが必要です。
理解度チェック
（軽い確認用）Q1. 本番投入後にモデルの精度が徐々に低下した。最も一般的な原因と検出手段の組み合わせはどれですか？
Q2. エンドポイントの遅延やエラー率を監視してアラームを出したい。何を使いますか？
Q3. ドリフトを検知したら自動で再学習・再デプロイしたい。最も適した構成はどれですか？