Instiq
第2章 · データの取り込みと変換·v2.0.0·更新 2026/6/16·読了目安 約9分

変更要約: DP-700 第2章を深掘り(図ja化・比較表/シナリオ/FAQ/ひっかけ/深掘り段落を全節に追加)

2.1データの取り込み(パイプライン・データフロー・Copy)

この節の要点

Fabric にデータを取り込む手段——データパイプライン(オーケストレーション)・データフロー Gen2(Power Query によるノーコード変換)・Copy アクティビティショートカット の使い分けを理解します。

分析の第一歩はデータを Fabric に取り込むことです。大量コピーのオーケストレーション、ノーコード変換、参照のみ、と目的で手段を選びます。

2.1.1取り込み手段の使い分け

バッチ取り込みでは、外部データベース(Azure SQL Database・Cosmos DB・Snowflake 等)の変更を Fabric にほぼリアルタイムで複製する ミラーリング(Mirroring)も使えます。ETL を書かずに OneLake に最新コピーを保持でき、そのまま分析に利用できます。

ソース(DB/ファイル/SaaS/ストリーム)から Fabric への取り込み手段を並べた図。データパイプライン(複数アクティビティをオーケストレーション・スケジュール)、Copy アクティビティ(大量データの高速コピー)、データフロー Gen2(Power Query でノーコード変換しながら取り込み)、ショートカット(コピーせず参照)。取り込み先は Lakehouse/Warehouse(OneLake)。
Fabric への取り込み手段
  • データパイプライン複数アクティビティをオーケストレーションし、スケジュール/依存関係/パラメーターで制御する。
  • Copy アクティビティ大量データを高速にコピーする(多数のコネクタ対応)。
  • データフロー Gen2Power Query によるノーコード変換をしながら取り込む(中小規模/整形向き)。
  • ショートカット:物理コピーせず参照のみで OneLake に取り込む(重複削減)。
試験ポイント

「複数処理のオーケストレーション/スケジュール=データパイプライン」「大量データの高速コピー=Copy アクティビティ」「ノーコードで整形しながら取り込み=データフロー Gen2」「コピーせず参照=ショートカット」 は DP-700 で頻出です。コードを書かず変換したいなら Dataflow、複雑な制御フローならパイプラインです。

補足

パイプラインは Dataflow やノートブック、Copy などのアクティビティを束ねて実行できます。Dataflow 単体は変換中心、パイプラインはワークフロー中心と捉えると選びやすいです。

Fabric の データパイプライン(Data Factory エクスペリエンス)は、CopyDataflowノートブックストアドプロシージャ・制御フロー(ForEachIfLookup・待機)などの アクティビティ を連結し、トリガー/スケジュールパラメーター・成功/失敗の依存で動かします。Copy アクティビティ は多数の コネクタ で大量データを高速搬送し、フルロードと差分(増分)ロードを使い分けます。データフロー Gen2Power Query の M でノーコード/ローコード整形を行い、出力先(Lakehouse/Warehouse)を指定して取り込みます。ショートカット はコピーせず参照(内部=他ワークスペース、外部=ADLS Gen2/S3/GCS)。イベントストリーム(Real-Time Intelligence)はストリーミング取り込みを担います。判断軸は「複雑な制御フロー/スケジュール=パイプライン」「ノーコード整形=Dataflow Gen2」「大量の単純コピー=Copy」「移動せず参照=ショートカット」「リアルタイム=イベントストリーム」。増分取り込みでは ウォーターマーク列 や最終更新日時で差分のみを取り込み、コストと時間を抑えます。

手段得意コード
データパイプライン制御フロー・スケジュール・依存ローコード
Copy アクティビティ大量データの高速搬送ノーコード
データフロー Gen2Power Query でノーコード整形ノーコード
ショートカットコピーせず参照設定のみ
補足

シナリオ: 毎晩、複数ソースから増分だけ取り込み、整形後にノートブックで集計し、失敗時はやり直したい。→ データパイプラインでスケジュールし、Copy アクティビティをウォーターマーク列で増分ロード、Dataflow Gen2 で整形、ノートブックで集計、と各アクティビティを依存関係でつなぎます。リアルタイム要件があればイベントストリームを別途使います。

補足

FAQ: Q. パイプラインとデータフロー Gen2 の違いは? → A. パイプラインは複数処理のオーケストレーション(ワークフロー)、Dataflow Gen2 は Power Query による変換そのもの。パイプラインから Dataflow を呼べます。Q. 全部を毎回フルロードすべき? → A. いいえ。ウォーターマーク列等で増分取り込みするとコストと時間を抑えられます。

注意

ひっかけ: 「ショートカットはデータを取り込む際に物理コピーする」は誤りです。ショートカットは参照のみ(コピーなし)。物理コピーは Copy アクティビティ。また「ノーコードで整形したいのにパイプラインだけで完結する」も誤り(整形そのものは Dataflow Gen2/パイプラインはオーケストレーション)。

2.1.2この節のまとめ

  • 取り込み=パイプライン(制御)/Copy(大量)/Dataflow Gen2(ノーコード変換)/ショートカット(参照)
  • 目的(制御 or 変換 or 参照)で手段を選ぶ

進捗の記録にはログインが必要です。

理解度チェック

(軽い確認用)

Q1. 複数のアクティビティをオーケストレーションし、スケジュールや依存関係で制御したい。何を使いますか?

Q2. コードを書かずに Power Query で整形しながらデータを取り込みたい。何を使いますか?

Q3. 他の場所のデータを物理コピーせず OneLake から参照したい。何を使いますか?

理解度を確認第2章「データの取り込みと変換」の問題を解く