変更要約: Associate Data Practitioner 第3章を新規作成（ドメイン3「パイプライン」: パイプラインの設計＝Dataproc/Dataflow/Cloud Data Fusion/Cloud Composer/Dataform/ELT・ETL、スケジュール・自動化・監視＝スケジュールクエリ/Cloud Scheduler/Workflows/Dataproc Workflow Templates/Pub/Sub→BigQuery/Eventarc/Dataflow ジョブ UI/Cloud Logging・Monitoring）。
3.2スケジュール・自動化・監視
スケジュールされたクエリや Cloud Scheduler・Cloud Composer によるデータ処理の自動化、Dataflow ジョブ UI や Cloud Logging・Cloud Monitoring によるパイプラインの監視、適切なオーケストレーションソリューション（Cloud Composer・Workflows・Dataproc Workflow Templates）の選択、そして Pub/Sub から BigQuery へのイベント駆動の取り込みや Eventarc トリガーを理解します。
パイプラインは、定期実行・自動化し、進捗や失敗を監視することで初めて運用に乗ります。要件に応じてスケジュールやオーケストレーションの方法を選びます。
3.2.1スケジュールと自動化
定期的に同じ集計を回すなら、BigQuery の スケジュールされたクエリ が手軽です。汎用的な時刻ベースの起動には Cloud Scheduler、複数ステップの依存を伴う処理は Cloud Composer、軽量なステップ連携は Workflows、Dataproc のジョブ連携は Dataproc Workflow Templates を使います。イベント駆動では、Pub/Sub から BigQuery へ データを取り込んだり、Eventarc トリガー でパイプライン（Dataflow・Cloud Functions・Cloud Run・Cloud Composer など）を起動したりします。「定期集計＝スケジュールクエリ」「依存のある複数ステップ＝Cloud Composer」を押さえます。
3.2.2監視
パイプラインの状態は監視します。Dataflow の進捗は Dataflow ジョブ UI で確認し、ログやメトリクスは Cloud Logging と Cloud Monitoring で分析します。失敗の原因究明や遅延の検知に使い、必要ならアラートを設定します。「ジョブの進捗＝Dataflow ジョブ UI」「ログ/メトリクスで監視・原因調査＝Cloud Logging/Monitoring」と結びます。
「要件 → 手段」が頻出。例：「同じ集計を定期実行」＝スケジュールクエリ、「時刻で起動」＝Cloud Scheduler、「依存のある複数ステップ」＝Cloud Composer、「軽量なステップ連携」＝Workflows、「イベントで取り込み」＝Pub/Sub→BigQuery / Eventarc、「Dataflow の進捗確認」＝Dataflow ジョブ UI、「ログ/メトリクスで監視」＝Cloud Logging/Monitoring。
混同に注意：
①スケジュールクエリ（定期集計）とCloud Composer（依存のあるオーケストレーション）は規模/複雑さで選ぶ。
②Dataflow ジョブ UI（進捗）とCloud Logging/Monitoring（ログ/メトリクス）を併用。
③イベント駆動はPub/Sub→BigQuery / Eventarc。
3.2.3この節のまとめ
- 定期集計＝スケジュールクエリ。時刻起動＝Cloud Scheduler。依存ある複数ステップ＝Cloud Composer、軽量＝Workflows
- イベント駆動＝Pub/Sub→BigQuery / Eventarc トリガー
- 監視＝Dataflow ジョブ UI（進捗）＋Cloud Logging/Monitoring（ログ・メトリクス）
進捗の記録にはログインが必要です。
理解度チェック
（軽い確認用）Q1. 毎朝同じ集計クエリを BigQuery で自動実行したい。最も手軽な方法はどれですか？
Q2. Dataflow パイプラインの進捗状況を確認したい。使うのはどれですか？
Q3. Pub/Sub に届いたイベントをきっかけに BigQuery へデータを取り込む、イベント駆動の取り込みに適すのはどれですか？
Q4. 複数ステップの依存関係を持つデータ処理をスケジュール・オーケストレーションしたい。最適なのはどれですか？
Q5. パイプラインのログやメトリクスを分析して失敗の原因や遅延を調べたい。使うのはどれですか？
Q6. 多様なイベント源からパイプライン（Dataflow・Cloud Functions など）をトリガーで起動したい。使うのはどれですか？