変更要約: Associate Data Practitioner 第1章を新規作成（ドメイン1「準備と取り込み」: 処理手法と品質＝ETL/ELT/ETLT/データ品質/クレンジング(Cloud Data Fusion/BigQuery/Dataflow)/転送(Storage Transfer Service/Transfer Appliance)、形式と抽出・ロード＝CSV/JSON/Parquet/Avro/BigQuery Data Transfer Service/Database Migration Service/CLI、ストレージの選択とデータ所在地＝保存先/構造化分類/リージョナル・デュアル・マルチ・ゾーナル）。
1.2データ形式と抽出・ロード
CSV・JSON・Apache Parquet・Apache Avro・構造化テーブルといったデータ形式の違い、Dataflow・BigQuery Data Transfer Service・Database Migration Service・Cloud Data Fusion といった抽出ツールの選択、そして gcloud / bq CLI・Storage Transfer Service・クライアントライブラリによる Google Cloud ストレージへのロードを理解します。
データを取り込むには、まず形式を理解し、元の場所と目的に応じた抽出ツールを選び、適切なロード方法で Google Cloud のストレージへ入れます。
1.2.1データ形式
代表的な形式に、行指向で人が読みやすい CSV、半構造化の JSON、そして分析に強い列指向（カラムナ）の Apache Parquet や、スキーマを内包する行指向の Apache Avro があります。大規模分析では Parquet のような列指向形式が効率的です。形式は、構造化（テーブル）・半構造化（JSON）・非構造化のどれに当たるかも意識します。
1.2.2抽出ツールとロード
| やりたいこと | ツール |
|---|---|
| SaaS/他サービスから BigQuery へ定期取り込み | BigQuery Data Transfer Service |
| データベースを移行（最小停止） | Database Migration Service |
| 柔軟な変換つきパイプライン | Dataflow / Cloud Data Fusion |
| 少量のアップロード | gcloud / bq CLI・クライアントライブラリ |
| 大量・継続のオブジェクト転送 | Storage Transfer Service |
抽出は目的で選びます：他サービスから BigQuery へ定期的に取り込むなら BigQuery Data Transfer Service、既存 DB を移行するなら Database Migration Service、柔軟な変換を伴うなら Dataflow や Cloud Data Fusion です。ロードは規模で選びます：少量は gcloud / bq CLI やクライアントライブラリ、大量・継続のオブジェクトは Storage Transfer Service、また Cloud Storage からの読み込み で BigQuery に取り込めます。
「要件 → ツール」が頻出。例：「列指向で分析効率が良い」＝Parquet、「スキーマ内包の行指向」＝Avro、「他サービスから BigQuery へ定期取り込み」＝BigQuery Data Transfer Service、「DB を最小停止で移行」＝Database Migration Service、「少量アップロード」＝gcloud/bq CLI、「大量オブジェクト転送」＝Storage Transfer Service。
混同に注意：
①BigQuery Data Transfer Service（BigQuery への定期取り込み）とStorage Transfer Service（Cloud Storage への転送）は対象が違う。
②Database Migration Service は DB の移行専用。
③形式は列指向（Parquet）が分析向き。
1.2.3この節のまとめ
- 形式＝CSV/JSON（半構造化）/Parquet（列指向・分析向き）/Avro（スキーマ内包）
- 抽出＝BigQuery Data Transfer Service（定期取り込み）/Database Migration Service（DB 移行）/Dataflow・Cloud Data Fusion
- ロード＝gcloud/bq CLI（少量）/Storage Transfer Service（大量）/Cloud Storage からの読み込み
進捗の記録にはログインが必要です。
理解度チェック
（軽い確認用）Q1. 大規模分析に向いた、列指向（カラムナ）で効率的なデータ形式はどれですか？
Q2. 他の SaaS やサービスから BigQuery へデータを定期的に取り込みたい。最適なツールはどれですか？
Q3. 既存のデータベースを最小限の停止時間で Google Cloud へ移行したい。最適なサービスはどれですか？
Q4. 少量のデータをコマンドラインから Cloud Storage や BigQuery にアップロードしたい。適切な方法はどれですか？
Q5. BigQuery Data Transfer Service と Storage Transfer Service の違いとして正しいものはどれですか？
Q6. スキーマを内包し、データのやり取りに使われる行指向のデータ形式はどれですか？