変更要約: in-scope サービス網羅: 中核サービスの解説を追加
3.3モデルの評価指標
良し悪しを測る——混同行列、適合率/再現率/F1、ROC-AUC、回帰指標（RMSE/MAE/R²）、不均衡時の指標選択——を理解します。目的に合う指標で評価します。
モデルの良し悪しは適切な指標で測ります。分類と回帰で指標が異なり、特にクラス不均衡では正解率（accuracy）が当てにならない点が重要です。
3.3.1分類と回帰の指標
- 適合率（Precision）：陽性と予測したうち本当に陽性の割合。誤検知が高コストなら重視。
- 再現率（Recall）：実際の陽性のうち検出できた割合。見逃しが致命的（不正/病気）なら重視。
- F1 / ROC-AUC：F1 は適合率と再現率の調和平均、AUC はしきい値に依存しない総合指標。
- 回帰指標：RMSE（大きな誤差を強く罰する）/MAE/R²。不均衡分類では accuracy を避ける。
「見逃しを減らしたい（不正検知/病気）＝再現率重視」「誤検知を減らしたい＝適合率重視」「不均衡データで accuracy は不適切→F1/AUC」「大きな誤差を強く罰す＝RMSE」 は MLS-C01 で頻出です。99% が陰性のデータでは「全部陰性」でも accuracy 99% になり無意味、が定番の例です。
MLS-C01 では「指標とビジネスコストの結びつけ」「しきい値調整」「ROC と PR の使い分け」が深く問われます。分類器の多くは確率を出力し、判定しきい値を動かすと適合率と再現率がトレードオフします（しきい値を下げると再現率↑・適合率↓）。このトレードオフ全体を見る曲線が ROC 曲線（横軸 FPR・縦軸 TPR）とその下面積 AUC ですが、強い不均衡では ROC-AUC は楽観的に見えやすく、PR 曲線（適合率-再現率）と PR-AUC の方が実態を反映します。指標選択はコストで決め、見逃し（偽陰性）が致命的な医療診断・不正検知では再現率、誤検知（偽陽性）のコストが高いスパム判定・与信では適合率を優先し、両者のバランスが要るなら F1、偽陽性と偽陰性のコスト比が偏るなら F-beta（βで再現率/適合率の重みを変える）を使います。多クラスでは macro 平均（各クラス均等）と weighted 平均（件数加重）を区別します。回帰では、RMSE（誤差を二乗＝大きな外れを強く罰する・単位は目的変数と同じ）、MAE（絶対誤差・外れ値に頑健）、MAPE（割合誤差・スケール非依存だが 0 付近で不安定）、R²（説明分散の割合）を、外れ値の扱いや解釈性で選びます。評価は必ず学習に使っていないホールドアウト/交差検証で行い、しきい値も検証データで決めてテストで確認します。SageMaker では学習中に objective metric を CloudWatch に出し、AMT がそれを最大化/最小化するよう探索します。
| 状況/目的 | 使う指標 | 理由 |
|---|---|---|
| 見逃しが致命的（不正/病気） | 再現率（Recall） | 実陽性の取りこぼしを減らす |
| 誤検知が高コスト（スパム/与信） | 適合率（Precision） | 陽性予測の正確さを上げる |
| 強い不均衡の総合評価 | PR-AUC / F1 | ROC-AUC は楽観的になりがち |
| 回帰・外れ値を強く罰する | RMSE | 誤差を二乗する |
| 回帰・外れ値に頑健 | MAE | 絶対誤差で外れに鈍感 |
シナリオ：不正検知（陽性 0.3%）で ROC-AUC が 0.97 と高いのに、本番では誤検知が多すぎて運用が破綻している。→ 強い不均衡では ROC-AUC が楽観的に見える。PR 曲線/PR-AUC で評価し直し、適合率と再現率のトレードオフから運用可能なしきい値を選ぶ。見逃しコストと誤検知コストの比に応じて F-beta やしきい値を調整し、検証データで決めてテストで確認する。
FAQ：Q. ROC-AUC と PR-AUC の使い分けは? A. クラスが概ね均衡なら ROC、強い不均衡なら PR の方が実態を反映。Q. 適合率と再現率は同時に上げられる? A. 通常トレードオフ。しきい値で調整し、両立が要るなら F1/F-beta を最適化。Q. RMSE と MAE は? A. 大きな誤差を重く見るなら RMSE、外れ値に頑健にしたいなら MAE。
ひっかけ：「ROC-AUC が高ければ不均衡データでも安心」は誤り。強い不均衡では多数の真陰性のおかげで ROC-AUC が高く見えやすく、少数陽性の取りこぼしや誤検知の多さを覆い隠す。PR-AUC や、目的に応じた適合率/再現率/F-beta で評価する。「accuracy が高い＝良いモデル」も不均衡では誤り。
3.3.2モデリングの in-scope サービス
モデリングの中核は Amazon SageMaker AI で、組み込みアルゴリズム・自動チューニング（AMT）・分散学習・各種推論をサポートし、データ準備から学習・チューニング・デプロイ・推論まで統合します。EC2 で自前のディープラーニング環境を素早く立ち上げるなら AWS Deep Learning AMIs（DLAMI）が、主要フレームワーク（TensorFlow/PyTorch）と GPU ドライバ/ライブラリ（CUDA 等）を事前構成済みで提供します。開発・データ作業の補助には、コーディングや AWS の質問応答を行う生成 AI アシスタント Amazon Q を使います。
3.3.3この節のまとめ
- 分類＝適合率/再現率/F1/AUC（不均衡は accuracy 回避）
- 回帰＝RMSE/MAE/R²、見逃し重視＝再現率
- 中核＝SageMaker AI、自前DL環境＝DLAMI、開発補助＝Amazon Q
進捗の記録にはログインが必要です。
理解度チェック
（軽い確認用）Q1. 不正取引の検出で、見逃し（実際の不正を見逃すこと）を最小化したい。重視すべき指標は？
Q2. 99% が正常・1% が異常のデータで、モデルが「全部正常」と予測しても正解率は 99% になります。代わりに使うべき指標は？
Q3. 回帰モデルで、大きな誤差をより強くペナルティしたい。どの指標が適していますか？