Instiq
第1章 · データ処理システムの設計·v1.0.0·更新 2026/6/15·読了目安 約15分

変更要約: Professional Data Engineer 第1章を新規作成(ドメイン1「設計」: セキュリティ/コンプラ=IAM 最小権限/組織ポリシー/GMEK・CMEK・Cloud EKM/Sensitive Data Protection/データ所在地/プロジェクト・データセット・テーブル設計/マルチ環境、信頼性と移行=Dataform/Dataflow/Cloud Data Fusion・Cloud Composer・DR/フォールトトレランス/ACID/データ検証・BigQuery DTS/Database Migration Service/Datastream/Transfer Appliance)。

1.2設計:信頼性・移行・データ操作の手法

この節の要点

データの準備とクレンジング(Dataform・Dataflow・Cloud Data Fusion)、パイプラインの監視とオーケストレーション、災害復旧とフォールトトレランス、ACID と可用性の判断、データ検証、そして移行ツール(BigQuery Data Transfer Service・Database Migration Service・Datastream・Transfer Appliance)の選択を理解します。

堅牢なデータ基盤は、信頼性(壊れても復旧でき、データが正しい)と、既存資産からの移行を見据えて設計します。手法とツールを要件で選びます。

1.2.1準備・信頼性・データ検証

データの準備・クレンジングは、SQL ベースの ELT を管理する Dataform、コードでスケーラブルに処理する Dataflow、ビジュアルに低コードで組む Cloud Data Fusion を使い分けます。パイプラインは 監視オーケストレーションCloud Composer)で運用します。信頼性のために 災害復旧(DR)フォールトトレランス(複数リージョン/ゾーン・再試行)を設計し、トランザクションの ACID と可用性のトレードオフを判断します。データ検証 で品質(欠損・不整合)を担保します。「SQL ELT=Dataform」「ビジュアル ETL=Cloud Data Fusion」と結びます。

1.2.2データ移行の設計

ツール用途
BigQuery Data Transfer ServiceSaaS/他 DWH から BigQuery へ定期取り込み
Database Migration ServiceDB を最小停止で移行
Datastream変更データキャプチャ(CDC)でストリーム複製
Transfer Applianceネットワークが細い超大量データの物理輸送

移行は、現状のステークホルダー/プロセス/技術を分析して計画します。ツールは要件で選びます:SaaS や他 DWH から BigQuery へ定期取り込みなら BigQuery Data Transfer Service、DB を最小停止で移行するなら Database Migration Service、継続的な変更を CDC でストリーム複製するなら Datastream、ネットワークが細い超大量データは Transfer Appliance(物理輸送)。「最小停止 DB 移行=Database Migration Service」「継続的変更の複製=Datastream(CDC)」を押さえます。

試験ポイント

要件 → 手段」が頻出。例:「SQL で ELT を管理」=Dataform、「ビジュアルに低コードで ETL」=Cloud Data Fusion、「コードでスケーラブル処理」=Dataflow、「依存のあるパイプラインのオーケストレーション」=Cloud Composer、「DB を最小停止で移行」=Database Migration Service、「継続的な変更を複製」=Datastream(CDC)、「SaaS から BigQuery へ定期取り込み」=BigQuery Data Transfer Service。

注意

混同に注意:
Database Migration Service(DB 移行)と Datastream(CDC 複製)と BigQuery Data Transfer Service(定期取り込み)を取り違えない。
Dataform(SQL ELT)と Dataflow(Beam コード)と Cloud Data Fusion(ビジュアル)を用途で選ぶ。
③DR/フォールトトレランスは複数リージョン/ゾーンで設計。

準備/クレンジング(Dataform/Dataflow/Cloud Data Fusion)・Cloud Composer、DR/フォールトトレランス/ACID/データ検証、移行(BigQuery DTS/Database Migration Service/Datastream/Transfer Appliance)を示す図。
壊れない・移す

1.2.3この節のまとめ

  • 準備/クレンジング=Dataform(SQL ELT)/Dataflow(コード)/Cloud Data Fusion(ビジュアル)、運用は Cloud Composer
  • 信頼性=DR・フォールトトレランス(複数リージョン/ゾーン・再試行)・ACID・データ検証
  • 移行=BigQuery DTS(定期取り込み)/Database Migration Service(最小停止)/Datastream(CDC)/Transfer Appliance(物理)

進捗の記録にはログインが必要です。

理解度チェック

(軽い確認用)

Q1. BigQuery 内の SQL ベースの変換(ELT)を依存関係・バージョン管理つきで実装したい。最適なのはどれですか?

Q2. コードをあまり書かずビジュアルに ETL/ELT パイプラインを構築したい。最適なのはどれですか?

Q3. データベースを最小限の停止時間で Google Cloud へ移行したい。最適なツールはどれですか?

Q4. ソース DB の継続的な変更を変更データキャプチャ(CDC)でストリーム複製したい。最適なのはどれですか?

Q5. ネットワーク帯域が限られる中で数百 TB を移行したい。最適なのはどれですか?

Q6. 依存のある複数ステップのデータパイプラインをスケジュール・オーケストレーションしたい。最適なのはどれですか?

理解度を確認第1章「データ処理システムの設計」の問題を解く