変更要約: Professional Data Engineer 第1章を新規作成(ドメイン1「設計」: セキュリティ/コンプラ=IAM 最小権限/組織ポリシー/GMEK・CMEK・Cloud EKM/Sensitive Data Protection/データ所在地/プロジェクト・データセット・テーブル設計/マルチ環境、信頼性と移行=Dataform/Dataflow/Cloud Data Fusion・Cloud Composer・DR/フォールトトレランス/ACID/データ検証・BigQuery DTS/Database Migration Service/Datastream/Transfer Appliance)。
1.2設計:信頼性・移行・データ操作の手法
データの準備とクレンジング(Dataform・Dataflow・Cloud Data Fusion)、パイプラインの監視とオーケストレーション、災害復旧とフォールトトレランス、ACID と可用性の判断、データ検証、そして移行ツール(BigQuery Data Transfer Service・Database Migration Service・Datastream・Transfer Appliance)の選択を理解します。
堅牢なデータ基盤は、信頼性(壊れても復旧でき、データが正しい)と、既存資産からの移行を見据えて設計します。手法とツールを要件で選びます。
1.2.1準備・信頼性・データ検証
データの準備・クレンジングは、SQL ベースの ELT を管理する Dataform、コードでスケーラブルに処理する Dataflow、ビジュアルに低コードで組む Cloud Data Fusion を使い分けます。パイプラインは 監視 と オーケストレーション(Cloud Composer)で運用します。信頼性のために 災害復旧(DR) と フォールトトレランス(複数リージョン/ゾーン・再試行)を設計し、トランザクションの ACID と可用性のトレードオフを判断します。データ検証 で品質(欠損・不整合)を担保します。「SQL ELT=Dataform」「ビジュアル ETL=Cloud Data Fusion」と結びます。
1.2.2データ移行の設計
| ツール | 用途 |
|---|---|
| BigQuery Data Transfer Service | SaaS/他 DWH から BigQuery へ定期取り込み |
| Database Migration Service | DB を最小停止で移行 |
| Datastream | 変更データキャプチャ(CDC)でストリーム複製 |
| Transfer Appliance | ネットワークが細い超大量データの物理輸送 |
移行は、現状のステークホルダー/プロセス/技術を分析して計画します。ツールは要件で選びます:SaaS や他 DWH から BigQuery へ定期取り込みなら BigQuery Data Transfer Service、DB を最小停止で移行するなら Database Migration Service、継続的な変更を CDC でストリーム複製するなら Datastream、ネットワークが細い超大量データは Transfer Appliance(物理輸送)。「最小停止 DB 移行=Database Migration Service」「継続的変更の複製=Datastream(CDC)」を押さえます。
「要件 → 手段」が頻出。例:「SQL で ELT を管理」=Dataform、「ビジュアルに低コードで ETL」=Cloud Data Fusion、「コードでスケーラブル処理」=Dataflow、「依存のあるパイプラインのオーケストレーション」=Cloud Composer、「DB を最小停止で移行」=Database Migration Service、「継続的な変更を複製」=Datastream(CDC)、「SaaS から BigQuery へ定期取り込み」=BigQuery Data Transfer Service。
混同に注意:
①Database Migration Service(DB 移行)と Datastream(CDC 複製)と BigQuery Data Transfer Service(定期取り込み)を取り違えない。
②Dataform(SQL ELT)と Dataflow(Beam コード)と Cloud Data Fusion(ビジュアル)を用途で選ぶ。
③DR/フォールトトレランスは複数リージョン/ゾーンで設計。
1.2.3この節のまとめ
- 準備/クレンジング=Dataform(SQL ELT)/Dataflow(コード)/Cloud Data Fusion(ビジュアル)、運用は Cloud Composer
- 信頼性=DR・フォールトトレランス(複数リージョン/ゾーン・再試行)・ACID・データ検証
- 移行=BigQuery DTS(定期取り込み)/Database Migration Service(最小停止)/Datastream(CDC)/Transfer Appliance(物理)
進捗の記録にはログインが必要です。
理解度チェック
(軽い確認用)Q1. BigQuery 内の SQL ベースの変換(ELT)を依存関係・バージョン管理つきで実装したい。最適なのはどれですか?
Q2. コードをあまり書かずビジュアルに ETL/ELT パイプラインを構築したい。最適なのはどれですか?
Q3. データベースを最小限の停止時間で Google Cloud へ移行したい。最適なツールはどれですか?
Q4. ソース DB の継続的な変更を変更データキャプチャ(CDC)でストリーム複製したい。最適なのはどれですか?
Q5. ネットワーク帯域が限られる中で数百 TB を移行したい。最適なのはどれですか?
Q6. 依存のある複数ステップのデータパイプラインをスケジュール・オーケストレーションしたい。最適なのはどれですか?

