変更要約: Professional Data Engineer 第5章を新規作成（ドメイン5「保守と自動化」: リソース最適化と自動化＝コスト最小化/Dataproc 永続・ジョブ単位クラスタ/Cloud Composer DAG/スケジュールクエリ/BigQuery Editions・予約、監視とフォールトトレランス＝Cloud Monitoring/Logging/BigQuery 管理パネル・クォータ/課金/エラー切り分け・複数リージョン/ゾーン/レプリケーション/フェイルオーバー/冪等再処理/バックアップ・検証）。
5.2監視・トラブルシューティングとフォールトトレランス
データ処理の可観測性（Cloud Monitoring・Cloud Logging・BigQuery 管理パネル）、エラー/課金/クォータのトラブルシューティング、そしてフォールトトレランス（複数リージョン/ゾーンでの実行・データ破損や欠損への備え・レプリケーションとフェイルオーバー）を理解します。
データワークロードは、監視して問題を捉え、障害が起きても影響を抑えるように運用します。可観測性とフォールトトレランスが信頼性を支えます。
5.2.1監視とトラブルシューティング
データ処理は Cloud Monitoring（メトリクス/アラート）と Cloud Logging（ログ）、BigQuery の 管理パネル（admin panel） で観測します。計画した使用量を監視し、想定外の増加を捉えます。トラブルシューティングでは、エラーメッセージ・課金（請求）の問題・クォータ超過を切り分けます。ジョブ・クエリ・予約（コンピュート容量）といったワークロードを管理します。「データ処理の監視＝Cloud Monitoring/Logging＋BigQuery 管理パネル」「クォータ/課金/エラーを切り分け」と結びます。
5.2.2フォールトトレランスと影響の緩和
障害に備え、システムを フォールトトレラント に設計します：再起動を管理し、複数リージョン/ゾーンでジョブを実行し、データ破損や欠損に備えます（バックアップ・冪等な再処理・検証）。データベースは レプリケーションとフェイルオーバー（Cloud SQL の HA、Redis クラスタなど）で可用性を高めます。「障害に耐える＝複数リージョン/ゾーン＋レプリケーション/フェイルオーバー」「データ破損対策＝バックアップ/検証/冪等再処理」を押さえます。
「要件 → 手段」が頻出。例：「データ処理を監視し通知」＝Cloud Monitoring、「ログで原因調査」＝Cloud Logging、「BigQuery のジョブ/使用量を把握」＝管理パネル、「クォータ超過/課金/エラーを切り分け」＝トラブルシューティング、「障害に耐える」＝複数リージョン/ゾーン＋レプリケーション/フェイルオーバー、「データ破損に備える」＝バックアップ/検証/冪等再処理。
混同に注意：
①Cloud Monitoring（メトリクス）と Cloud Logging（ログ）は役割が違う。
②可用性は複数リージョン/ゾーンとレプリケーション/フェイルオーバーで設計。
③再処理は冪等にし、データ破損/欠損は検証とバックアップで備える。
5.2.3この節のまとめ
- 監視＝Cloud Monitoring/Logging＋BigQuery 管理パネル、クォータ/課金/エラーを切り分け
- フォールトトレランス＝複数リージョン/ゾーン・再起動管理・レプリケーション/フェイルオーバー
- データ破損/欠損はバックアップ・検証・冪等な再処理で備える
進捗の記録にはログインが必要です。
理解度チェック
（軽い確認用）Q1. データ処理のメトリクスを監視し、しきい値超過で通知を受けたい。使うのはどれですか？
Q2. BigQuery のジョブや使用量・スロットの状況を把握したい。使うのはどれですか？
Q3. 地域全体の障害にも耐えてデータワークロードを動かしたい。最適な方法はどれですか？
Q4. 再処理しても結果が重複しないようにしたい。設計に取り入れるべきものはどれですか？
Q5. ジョブが失敗した。原因をログで詳しく調べたい。使うのはどれですか？
Q6. ジョブが「クォータ超過」で失敗した。最も適切な対処はどれですか？