変更要約: MLS-C01 第2章を深掘り（相関種別Pearson/Spearman・VIF/対数変換・可視化のAWS手段(Data Wrangler/QuickSight)と落とし穴/t-SNE・リーク2種/前処理順序/Glue DataBrew/時系列分割＋比較表・シナリオ・FAQ・ひっかけ、図ja化）
2.1統計と分布の把握
データを知る——要約統計（平均/中央値/分散）、分布、外れ値、クラス不均衡、相関——を理解します。モデリング前にデータの素性を掴みます。
モデルを作る前に、探索的データ分析（EDA）でデータの素性を掴みます。要約統計・分布・外れ値・相関を見て、必要な前処理を判断します。
2.1.1まずデータを理解する
- 要約統計：平均・中央値・最頻値・標準偏差・四分位でデータの規模とばらつきを掴む。
- 分布と外れ値：正規/歪みを確認し、外れ値を IQR や z スコアで検出する。
- クラス不均衡：分類で各クラスの件数の偏りを確認する（後で対処が必要）。
- 相関：特徴量と目的変数の関係、多重共線性（特徴量同士の強い相関）を確認する。
「外れ値の検出＝IQR/z スコア」「歪んだ分布は対数変換などで補正」「特徴量同士の強い相関＝多重共線性（冗長な特徴量を削減）」「分類のクラス不均衡は精度を歪める」 は MLS-C01 で頻出です。平均は外れ値に弱く、中央値が頑健な点も問われます。
MLS-C01 では相関の種類と分布補正の判断が深く問われます。相関係数は、線形関係を測るピアソン、順位（単調関係・非線形でも単調なら捉える）を測るスピアマンを区別し、外れ値や非線形性があるとピアソンは誤解を招くためスピアマンや散布図で確認します。相関は因果ではない点も重要で、強い相関は特徴量選択の手掛かりにはなっても因果の証明にはなりません。多重共線性は VIF（分散拡大係数）で定量化し、目安として VIF>5〜10 の特徴量は線形モデルの係数を不安定にするため、片方を落とすか PCA で次元削減します（木系モデルは多重共線性に比較的頑健）。分布の歪み（右に裾を引く所得・価格など）は対数変換や Box-Cox/Yeo-Johnson で正規に近づけると、線形モデルや距離ベースの手法で扱いやすくなります。外れ値は IQR（Q1−1.5×IQR 未満／Q3＋1.5×IQR 超）や z スコア（|z|>3）で検出しますが、外れ値が「測定誤差」なのか「重要な稀少事象（不正など）」なのかで除去/保持の判断が変わります。サンプリングバイアス（学習データが母集団を代表していない）や、時系列のリーク（未来の情報で過去を予測してしまう）にも EDA 段階で気づくことが、後段のモデル品質を左右します。
| 指標/概念 | 意味 | 使いどころ/注意 |
|---|---|---|
| ピアソン相関 | 線形関係の強さ | 外れ値・非線形に弱い |
| スピアマン相関 | 順位（単調関係） | 非線形でも単調なら捉える |
| VIF | 多重共線性の度合い | >5〜10 は冗長／線形係数が不安定 |
| IQR / z スコア | 外れ値検出 | 誤差か稀少事象かで除去判断 |
シナリオ：住宅価格の予測で、価格分布が右に大きく歪み、面積・部屋数・築年数が互いに強く相関している。→ 価格は対数変換して正規に近づけ、相関の高い特徴量は VIF で確認して片方を落とす（または PCA）。相関はスピアマンと散布図でも確認し、外れ値（極端に広い物件）は測定誤差か実在する高額帯かを見極めてから処理する。
FAQ：Q. ピアソンとスピアマンの使い分けは? A. 線形ならピアソン、順位/単調な非線形ならスピアマン。外れ値が多いときもスピアマンが頑健。Q. 多重共線性はどのモデルで問題? A. 線形回帰/ロジスティック回帰で係数が不安定になる。木系（XGBoost等）は比較的頑健。Q. 外れ値は必ず消す? A. いいえ。不正検知のように外れ値こそ重要な場合は残す。
ひっかけ：「相関が高い＝因果関係がある」は誤り。相関は関連の強さを示すだけで因果は別問題。また「相関が高い特徴量は必ず両方残すと精度が上がる」も誤りで、線形モデルでは多重共線性により係数が不安定になり解釈も劣化する。冗長な特徴量は削減するか次元削減する。
2.1.2この節のまとめ
- EDA＝要約統計・分布・外れ値・相関を確認
- 外れ値＝IQR/z スコア、冗長特徴量＝多重共線性
進捗の記録にはログインが必要です。
理解度チェック
（軽い確認用）Q1. 数値特徴量の外れ値を統計的に検出したい。一般的な手法はどれですか？
Q2. 複数の特徴量同士が強く相関している状態を何と呼び、どう対処しますか？
Q3. 外れ値の影響を受けやすい代表値と、より頑健な代表値の組み合わせとして正しいものは？