Instiq
第1章 · データの準備と取り込み·v1.0.0·更新 2026/6/15·読了目安 約15分

変更要約: Associate Data Practitioner 第1章を新規作成（ドメイン1「準備と取り込み」: 処理手法と品質＝ETL/ELT/ETLT/データ品質/クレンジング(Cloud Data Fusion/BigQuery/Dataflow)/転送(Storage Transfer Service/Transfer Appliance)、形式と抽出・ロード＝CSV/JSON/Parquet/Avro/BigQuery Data Transfer Service/Database Migration Service/CLI、ストレージの選択とデータ所在地＝保存先/構造化分類/リージョナル・デュアル・マルチ・ゾーナル）。

1.1データの処理手法と品質

この節の要点

ETL・ELT・ETLT というデータ操作の手法の違いと使い分け、データ品質の評価、そして Cloud Data Fusion・BigQuery・Dataflow を用いたデータクレンジング、適切なデータ転送ツール（Storage Transfer Service・Transfer Appliance）の選択を理解します。

Associate Data Practitioner は、Google Cloud のデータサービスで取り込み・変換・分析・管理を担う実務者の資格です。最初の土台が、データを使える状態にする「準備と取り込み」です。まずはデータをどう変換するかの手法を押さえます。

1.1.1ETL・ELT・ETLT

手法順序特徴
ETL抽出→変換→ロードロード前に変換（事前整形）
ELT抽出→ロード→変換先にロードし DWH 内で変換（BigQuery 等）
ETLT一部変換→ロード→さらに変換両者の折衷

ETL は「抽出→変換→ロード」で、ロードの前にデータを変換します。ELT は「抽出→ロード→変換」で、まず生データをロードし、BigQuery のような強力なデータウェアハウス内で変換します（大規模データに向く現代的な手法）。ETLT はその折衷です。クラウドのデータウェアハウスが強力になったため、近年は ELT が増えています。「DWH 内で変換＝ELT」「ロード前に整形＝ETL」と結びます。

1.1.2データ品質とクレンジング

データは取り込む前後で 品質 を評価します（欠損・重複・不整合・形式のばらつきなど）。品質を整える データクレンジング には、ビジュアルにパイプラインを組める Cloud Data Fusion、SQL で整形できる BigQuery、コードでスケーラブルに処理する Dataflow を、規模やスキルに応じて使い分けます。大量データを Google Cloud へ運ぶ データ転送 では、ネットワーク経由の Storage Transfer Service と、物理的にデータを輸送する Transfer Appliance（ネットワークが細い/超大量のとき）を選びます。

試験ポイント

「状況 → 手法/ツール」が頻出。例：「BigQuery にロードしてから SQL で変換」＝ELT、「ロード前に整形」＝ETL、「ビジュアルに ETL パイプライン」＝Cloud Data Fusion、「コードでスケーラブルに変換」＝Dataflow、「ネットワーク経由で大量転送」＝Storage Transfer Service、「ネットワークが細い/超大量を物理輸送」＝Transfer Appliance。

注意

混同に注意：
①ETL（ロード前に変換）とELT（DWH 内で変換）の順序の違い。
②転送はStorage Transfer Service（ネットワーク）とTransfer Appliance（物理輸送）を規模/回線で選ぶ。
③クレンジングは規模で Cloud Data Fusion/BigQuery/Dataflow を選ぶ。

ETL（抽出→変換→ロード）と ELT（抽出→ロード→DWH 内で変換）の順序の違い、クレンジング（Cloud Data Fusion/BigQuery/Dataflow）、転送（Storage Transfer Service/Transfer Appliance）を示す図。
データ処理の手法

1.1.3この節のまとめ

  • ETL（ロード前に変換）/ELT（DWH 内で変換・BigQuery）/ETLT（折衷）。近年は ELT が主流
  • クレンジング＝Cloud Data Fusion（ビジュアル）/BigQuery（SQL）/Dataflow（コード）
  • 転送＝Storage Transfer Service（ネットワーク）/Transfer Appliance（物理輸送）

進捗の記録にはログインが必要です。

理解度チェック

（軽い確認用）

Q1. まず生データを BigQuery にロードし、その後データウェアハウス内で SQL を使って変換する手法はどれですか？

Q2. ロードの前にデータを変換（整形）してからロードする手法はどれですか？

Q3. コードでスケーラブルにバッチ/ストリーミングのデータ変換を行いたい。最適なツールはどれですか？

Q4. ネットワークが細く、ペタバイト級のデータを物理的に Google Cloud へ運びたい。最適なのはどれですか？

Q5. ビジュアルなインターフェースで ETL/ELT パイプラインを組みたい。最適なツールはどれですか？

Q6. クラウドのデータウェアハウスが強力になったことで近年増えている、現代的なデータ統合の手法はどれですか？

理解度を確認第1章「データの準備と取り込み」の問題を解く