変更要約: Professional Data Engineer 第5章を新規作成（ドメイン5「保守と自動化」: リソース最適化と自動化＝コスト最小化/Dataproc 永続・ジョブ単位クラスタ/Cloud Composer DAG/スケジュールクエリ/BigQuery Editions・予約、監視とフォールトトレランス＝Cloud Monitoring/Logging/BigQuery 管理パネル・クォータ/課金/エラー切り分け・複数リージョン/ゾーン/レプリケーション/フェイルオーバー/冪等再処理/バックアップ・検証）。
5.1リソースの最適化と自動化
コスト最小化と業務に必要なリソースの確保、Dataproc の永続クラスタとジョブ単位クラスタの判断、Cloud Composer の DAG による自動化と反復可能なスケジューリング、そして BigQuery Editions と予約による容量管理を理解します。
データ基盤は作って終わりではなく、コスト効率よく・自動で動かし続けます。リソースの最適化と自動化が運用の要です。
5.1.1リソース最適化
コストは、業務に必要なリソースを確保しつつ 最小化 します。Dataproc では、常時使うなら 永続クラスタ、たまにのバッチなら起動して終わったら消す ジョブ単位（エフェメラル）クラスタ を選び、無駄な常時稼働を避けます。BigQuery の容量は、オンデマンドか、安定利用に向く Editions と予約（reservations） で管理し、コストを予測可能にします。「たまのバッチ＝ジョブ単位クラスタ」「安定利用の容量＝BigQuery Editions/予約」と結びます。
5.1.2自動化と反復可能性
ジョブは Cloud Composer の DAG（有向非巡回グラフ）で依存関係を表し、反復可能にスケジュール・オーケストレーションします。単純な定期実行は BigQuery の スケジュールクエリ でも足りますが、依存のある複数ステップは Cloud Composer が向きます。インタラクティブクエリかバッチクエリかも、要件で使い分けます。「依存のあるジョブを反復可能に＝Cloud Composer の DAG」「単純な定期集計＝スケジュールクエリ」を押さえます。