Google Cloud Professional Data Engineer参考書

データ基盤の IAM と組織ポリシー、保存時/転送時の暗号化と鍵管理、個人情報（PII）の扱い、データ所在地（データ主権）、プロジェクト/データセット/テーブルのアーキテクチャ設計によるデータガバナンス、そして開発/本番のマルチ環境設計を理解します。

データの準備とクレンジング（Dataform・Dataflow・Cloud Data Fusion）、パイプラインの監視とオーケストレーション、災害復旧とフォールトトレランス、ACID と可用性の判断、データ検証、そして移行ツール（BigQuery Data Transfer Service・Database Migration Service・Datastream・Transfer Appliance）の選択を理解します。

データソースとシンクの定義、変換とオーケストレーションのロジック、バッチとストリーミング（ウィンドウ・遅延データ）の処理、そして適切な処理サービス（Dataflow・Apache Beam・Dataproc・Cloud Data Fusion・BigQuery・Pub/Sub・Spark・Kafka）の選択を理解します。

ジョブの自動化とオーケストレーション（Cloud Composer・Workflows）、データクレンジングとAIによるデータエンリッチメント、新しいデータソースとの統合、そして CI/CD によるパイプラインの継続的デリバリーを理解します。

アクセスパターンに応じたマネージドサービスの選択（BigQuery・BigLake・AlloyDB・Bigtable・Spanner・Cloud SQL・Cloud Storage・Firestore・Memorystore）、ストレージのコストと性能、ライフサイクル管理、そしてデータウェアハウスのデータモデル設計（正規化の度合い・アクセスパターンへの最適化）を理解します。

データレイクの管理（データの発見・アクセス・コスト制御）、Dataplex と Dataplex Catalog によるデータプラットフォームの構築、分散データシステムのためのフェデレーテッドガバナンスモデル、そしてレイクとウェアハウスの使い分けを理解します。

BI ツールへの接続、事前計算（マテリアライズドビュー・BI Engine）による高速化、遅いクエリのトラブルシューティング、そしてセキュリティ・データマスキング・IAM・Cloud DLP による分析データの保護を理解します。

特徴量エンジニアリングと学習・サービングのためのデータ準備（BigQuery ML）、埋め込みと検索拡張生成（RAG）のための非構造化データの準備、そしてデータ共有（共有ルール・データセット公開・Analytics Hub）を理解します。

コスト最小化と業務に必要なリソースの確保、Dataproc の永続クラスタとジョブ単位クラスタの判断、Cloud Composer の DAG による自動化と反復可能なスケジューリング、そして BigQuery Editions と予約による容量管理を理解します。

データ処理の可観測性（Cloud Monitoring・Cloud Logging・BigQuery 管理パネル）、エラー/課金/クォータのトラブルシューティング、そしてフォールトトレランス（複数リージョン/ゾーンでの実行・データ破損や欠損への備え・レプリケーションとフェイルオーバー）を理解します。