1.1ML 向けデータ準備とフィーチャーエンジニアリング

機械学習の成否はデータの質で大きく決まります。生データをモデルが学習できる形へ整える データ準備 と フィーチャーエンジニアリング が第一歩です。

1.1.1データ準備の流れ

• クレンジング：欠損値の補完/除去、外れ値の処理、重複の削除でデータを整える。
• エンコード：カテゴリ変数を数値へ（ワンホット等）。スケーリング：数値を正規化/標準化する。
• フィーチャーエンジニアリング：ドメイン知識で予測に有用な特徴量を作る（集約・比率・時間特徴など）。
• 不均衡データ：少数クラスのオーバーサンプリング/重み付けなどで対処する。

データ準備は「整える→数値化→特徴量化」の順で進めます。クレンジング では欠損値を補完（平均/中央値/最頻値）または除去し、外れ値・重複を処理します。エンコード はカテゴリ変数を数値へ：順序のないものは ワンホット、順序のあるものは ラベル/序数、高カーディナリティは ターゲット/頻度エンコード を使います。スケーリング は 標準化（z-score） と 正規化（Min-Max） があり、勾配法や距離ベースのモデルで重要（木系モデルは比較的不要）。歪んだ分布は対数変換で補正します。フィーチャーエンジニアリング はドメイン知識で予測に効く特徴量（集約・比率・時間特徴・交互作用・ビニング）を作り、テキストは TF-IDF/埋め込み、画像は前処理・拡張を施します。不均衡データ は SMOTE 等のオーバーサンプリング・アンダーサンプリング・クラス重み付け で対処し、評価は正解率でなく F1/PR-AUC を見ます。最重要の落とし穴は データリーク で、スケーラー/エンコーダの fit は分割後のトレーニングデータのみに行い、同じ変換を検証/テストへ適用します（=リーク防止）。

1.1.2この節のまとめ

• クレンジング／エンコード／スケーリング／フィーチャーエンジニアリング
• 不均衡はリサンプリング/重み付け、変換は学習データで学習