変更要約: Professional Machine Learning Engineer 第5章を新規作成（ドメイン5「パイプライン」: データ/モデル検証・訓練/サービング一貫前処理・MLFlow ホスティング・コンポーネント/パラメータ/トリガー/Cloud Build/Cloud Run・オーケストレーション(Kubeflow Pipelines/Gemini Enterprise Agent Platform Pipelines/Cloud Composer)・ハイブリッド/マルチクラウド・TFX/Kubeflow DSL、再訓練ポリシー・CI/CD(Cloud Build/Jenkins)・Experiments on Agent Platform/Vertex ML Metadata・モデル/データのバージョニング・リネージ）。
5.1エンドツーエンド ML パイプライン
データとモデルの検証、訓練とサービングで一貫した前処理、サードパーティパイプライン（MLFlow）のホスティング、コンポーネント/パラメータ/トリガー/コンピュート（Cloud Build・Cloud Run）の特定、オーケストレーションフレームワーク（Kubeflow Pipelines・Gemini Enterprise Agent Platform Pipelines・Cloud Composer）、ハイブリッド/マルチクラウド戦略、TFX コンポーネントや Kubeflow DSL によるシステム設計を理解します。
MLOps の核心が、手作業をなくすエンドツーエンドのパイプラインです。データ取得→検証→訓練→評価→デプロイを自動化し、再現可能にします。
5.1.1オーケストレーションと検証
ML パイプラインは オーケストレーション フレームワーク で自動化します。Google マネージドでサーバーレスに ML パイプラインを実行するなら Gemini Enterprise Agent Platform Pipelines（Kubeflow Pipelines / TFX を実行）、汎用のワークフロー/データオーケストレーション（Airflow ベース）なら Cloud Composer を使います。パイプラインには データ検証（スキーマ/分布の異常検出）と モデル検証（基準を満たすか）を組み込み、品質を担保します。訓練とサービングで一貫した前処理 を保つことが 訓練/サービングスキュー の防止に不可欠で、TFX の Transform などで前処理を共有します。「マネージドな ML パイプライン＝Gemini Enterprise Agent Platform Pipelines」「汎用ワークフローのスケジュール/依存＝Cloud Composer（Airflow）」を結びます。
5.1.2コンポーネントとトリガー
パイプラインは コンポーネント（前処理/訓練/評価/デプロイの各ステップ）・パラメータ・トリガー（スケジュール/イベント/コード変更）・コンピュート要件 に分解して設計します。CI 的なビルド/コンテナ化は Cloud Build、軽量なステップやサービングは Cloud Run を使えます。システム設計は TFX コンポーネント や Kubeflow DSL で記述し、必要なら MLFlow などサードパーティのパイプラインも Google Cloud 上でホストします。要件次第で ハイブリッド/マルチクラウド 戦略も取ります。「パイプラインを部品化＝コンポーネント/DSL」「コード変更で自動起動＝トリガー（Cloud Build）」を押さえます。
「要件 → 手段」が頻出。例：「マネージドでサーバーレスに ML パイプラインを実行」＝Gemini Enterprise Agent Platform Pipelines、「Kubeflow/TFX のパイプラインを動かす」＝Gemini Enterprise Agent Platform Pipelines、「汎用ワークフローをスケジュール/依存管理」＝Cloud Composer（Airflow）、「訓練/サービングで前処理を一貫」＝TFX Transform で共有、「コード変更でパイプラインを自動起動」＝Cloud Build トリガー、「MLFlow を使い続けたい」＝Google Cloud 上でホスト。
混同に注意：
①Gemini Enterprise Agent Platform Pipelines（ML 専用・Kubeflow/TFX）と Cloud Composer（汎用 Airflow）を用途で使い分ける。
②前処理を訓練/サービングで共有しないとスキュー＝TFX Transform 等で一貫化。
③手作業の再訓練/デプロイは再現性の敵＝トリガーで自動化する。
5.1.3この節のまとめ
- マネージド ML パイプライン＝Gemini Enterprise Agent Platform Pipelines（Kubeflow/TFX）、汎用ワークフロー＝Cloud Composer
- データ/モデル検証を組み込み、訓練/サービングで前処理を一貫させてスキュー防止
- コンポーネント/DSL で部品化、トリガー(Cloud Build)で自動起動、MLFlow も Google Cloud でホスト可
進捗の記録にはログインが必要です。
理解度チェック
（軽い確認用）Q1. Kubeflow Pipelines や TFX で定義した ML パイプラインを、マネージドでサーバーレスに実行したい。最適なのはどれですか？
Q2. 訓練時とサービング時で前処理がずれ、訓練/サービングスキューが起きている。根本的な対策はどれですか？
Q3. Airflow ベースで、ML 以外も含む汎用ワークフローをスケジュールし依存関係を管理したい。最適なのはどれですか？
Q4. リポジトリへのコードプッシュをトリガーに、ML パイプラインのビルドとコンテナ化を自動実行したい。最適なのはどれですか？
Q5. すでに MLFlow でパイプラインを運用しており、Google Cloud 上でホストして使い続けたい。正しい方針はどれですか？