3データパイプラインのオーケストレーション

• 3.1データパイプラインの設計

  ビジネス要件に応じたデータ変換ツール（Dataproc・Dataflow・Cloud Data Fusion・Cloud Composer・Dataform）の選択、ELT と ETL のユースケースの評価、そして基本的な変換パイプラインを実装するために必要なプロダクトの組み合わせを理解します。

• 3.2スケジュール・自動化・監視

  スケジュールされたクエリや Cloud Scheduler・Cloud Composer によるデータ処理の自動化、Dataflow ジョブ UI や Cloud Logging・Cloud Monitoring によるパイプラインの監視、適切なオーケストレーションソリューション（Cloud Composer・Workflows・Dataproc Workflow Templates）の選択、そして Pub/Sub から BigQuery へのイベント駆動の取り込みや Eventarc トリガーを理解します。