変更要約: Professional Machine Learning Engineer 第2章を新規作成（ドメイン2「コラボレーション」: 組織データ源(Cloud Storage/BigQuery/Spanner/Cloud SQL/Spark/Hadoop)・Vertex AI データセット・前処理(Dataflow/TFX/BigQuery)・Vertex AI Feature Store・PII/PHI プライバシー、Jupyter バックエンド(Vertex AI Workbench/Colab Enterprise/Dataproc)・セキュリティ・フレームワーク(TensorFlow/PyTorch/sklearn/Spark/JAX)・Model Garden・実験追跡(Vertex AI Experiments/Kubeflow Pipelines/TensorBoard)・生成 AI 評価）。
2.1組織データの探索と前処理
組織横断のデータ（Cloud Storage・BigQuery・Spanner・Cloud SQL・Apache Spark・Apache Hadoop）の探索、データ種別（表/テキスト/音声/画像/動画）の整理、Vertex AI でのデータセット管理、前処理（Dataflow・TensorFlow Extended [TFX]・BigQuery）、Vertex AI Feature Store での特徴量の作成/統合、データ利用のプライバシー（PII/PHI）、Vertex AI への推論用データ取り込みを理解します。
ML の品質はデータで決まります。組織に散らばるデータを探索し、効率よく前処理し、再利用可能な特徴量に整えます。プライバシーも最初から考えます。
2.1.1データ源と前処理
データは Cloud Storage（非構造化/ファイル）・BigQuery（分析用テーブル）・Spanner/Cloud SQL（運用 DB）・Apache Spark/Apache Hadoop（既存ビッグデータ）など多様な場所にあります。種別（表/テキスト/音声/画像/動画）を整理し、Vertex AI の マネージドデータセット で管理します。前処理は、大規模ストリーム/バッチ変換なら Dataflow（Apache Beam）、本番 ML パイプラインの前処理なら TensorFlow Extended（TFX）、SQL で完結する集計/特徴量なら BigQuery を使い分けます。「大規模な並列前処理＝Dataflow」「SQL で前処理＝BigQuery」を結びます。
2.1.2Feature Store とプライバシー
計算した特徴量は Vertex AI Feature Store に集約し、チームやモデル間で再利用します。これにより訓練と推論で同じ特徴量を使い、重複計算と 訓練/サービングスキュー を防ぎます。データ利用では プライバシー を最初から考え、PII（個人を特定できる情報）や PHI（保護対象の医療情報）を扱う場合は Sensitive Data Protection（DLP）でのマスキング/仮名化、最小権限、VPC Service Controls での境界などで保護します。「特徴量の再利用と一貫性＝Feature Store」「機微データの保護＝PII/PHI を秘匿」を押さえます。
「要件 → 手段」が頻出。例：「大規模なストリーム/バッチ前処理を並列で」＝Dataflow、「SQL で集計して特徴量化」＝BigQuery、「本番 ML パイプラインの前処理コンポーネント」＝TFX、「特徴量をチーム間で再利用し訓練/推論で一貫」＝Vertex AI Feature Store、「PII/PHI を含むデータを保護」＝DLP（Sensitive Data Protection）＋最小権限。
混同に注意：
①Dataflow（並列ビッグデータ変換）と BigQuery（SQL 集計）は前処理の手段が別＝規模と形で選ぶ。
②Feature Store を使わないと訓練/サービングで特徴量がずれる（スキューの原因）。
③PII/PHI は早期に秘匿＝後追いの保護はリスク。
2.1.3この節のまとめ
- 前処理＝Dataflow（並列）/BigQuery（SQL）/TFX（パイプライン）、データは Vertex AI マネージドデータセット
- 特徴量の再利用と訓練/推論の一貫性＝Vertex AI Feature Store
- PII/PHI は早期に DLP で秘匿し最小権限/境界で保護
進捗の記録にはログインが必要です。
理解度チェック
（軽い確認用）Q1. 大規模なログデータを、ストリームとバッチの両方で並列に前処理（変換・クレンジング）したい。最適なのはどれですか？
Q2. 計算した特徴量を複数チーム・複数モデルで再利用し、訓練と推論で同じ値を使ってスキューを防ぎたい。最適なのはどれですか？
Q3. すでに BigQuery にあるテーブルから、SQL で集計して特徴量を作りたい。最適なのはどれですか？
Q4. 個人を特定できる情報（PII）や医療情報（PHI）を含むデータを学習に使う。最初に取るべき対策はどれですか？
Q5. 本番 ML パイプラインの中で、訓練と推論で一貫した前処理コンポーネントを定義したい。最適なのはどれですか？