変更要約: DP-600 第1章を深掘り(図ja化・比較表/シナリオ/FAQ/ひっかけ/深掘り段落を全節に追加)
1.3データの準備(取り込みと変換)
DP-600 で最大のドメイン「データの準備と提供」の基礎——取り込み(パイプライン・データフロー・ショートカット)と 変換(Spark・T-SQL・メダリオン)、Delta テーブル の最適化を理解します。
提供(セマンティックモデル/レポート)の前に、データを取り込み・変換して整える必要があります。これは DP-600 の最大ドメインです。
1.3.1取り込みと変換
- 取り込み:パイプライン(制御)・データフロー Gen2(ノーコード)・ショートカット(参照)を使い分ける。
- 変換:Spark(大規模)・T-SQL(Warehouse)で整形し、メダリオンで段階的に品質を上げる。
- Delta テーブル:結果は Delta として OneLake に保存し、SQL/Power BI から参照する。
- 最適化:V-Order/OPTIMIZE で読み取りを最適化し、提供(Direct Lake)に備える。
「取り込み=パイプライン/Dataflow/ショートカット」「変換=Spark/T-SQL+メダリオン」「結果は Delta で OneLake へ」「読み取り最適化=V-Order/OPTIMIZE」 は DP-600 で頻出です。準備したゴールド層を次章でセマンティックモデルに提供します。
取り込みは目的で選びます:複雑な制御フロー/スケジュールは データパイプライン、ノーコード整形は データフロー Gen2(Power Query)、移動せず参照は ショートカット、大量の単純コピーは Copy アクティビティ。変換は Spark ノートブック(PySpark/Spark SQL・大規模/ML・MERGE で増分)か T-SQL(Warehouse・セットベース)を使い、メダリオン(ブロンズ=生→シルバー=クレンジング/結合→ゴールド=集計/ビジネス向け)で品質を段階化します。結果はすべて Delta テーブル として OneLake に保存(ACID・タイムトラベル・スキーマ進化)。提供前の最適化が重要で、V-Order(読み取り最適化された並び)と OPTIMIZE(小さなファイルの圧縮統合・small files 問題対策)、VACUUM(古いファイル削除)を行い、Direct Lake の高速参照に備えます。DP-600 ではこのゴールド層が次のセマンティックモデルの土台になるため、適切な粒度・型・パーティション・命名で整えることが、後段の DAX とレポート性能に直結します。
| 工程 | 手段 | 成果 |
|---|---|---|
| 取り込み | パイプライン/Dataflow Gen2/ショートカット/Copy | 生データ(ブロンズ) |
| 変換 | Spark / T-SQL(メダリオン) | クレンジング/集計(シルバー/ゴールド) |
| 最適化 | V-Order / OPTIMIZE / VACUUM | 提供に最適な Delta |
シナリオ: 複数ソースの生データを夜間に取り込み、整形・集計してセマンティックモデルに渡したい。→ データパイプラインでスケジュール、Spark/T-SQL でメダリオン(ブロンズ→シルバー→ゴールド)を構築、ゴールドの Delta を V-Order/OPTIMIZE で最適化。次章でこのゴールド層を Direct Lake のセマンティックモデルとして提供します。
FAQ: Q. なぜ提供前に最適化するの? → A. 小さなファイルや非最適な並びは Direct Lake/SQL の読み取りを遅くするため、V-Order/OPTIMIZE で読み取りを速くしてから提供します。Q. ゴールド層の設計が重要なのはなぜ? → A. セマンティックモデルの土台になり、粒度・型・命名が後段の DAX とレポート性能を左右するためです。
ひっかけ: 「small files 問題の対処は VACUUM」は誤りです。小ファイルの圧縮統合は OPTIMIZE、VACUUM は古い未参照ファイルの削除。また「変換結果は CSV など任意形式で OneLake に保存される」も誤り(標準は Delta テーブルで、ACID/タイムトラベル/Direct Lake 参照が可能)。
1.3.2この節のまとめ
- 準備=取り込み→変換(メダリオン)→Delta→最適化
- 最適化=V-Order/OPTIMIZE(提供=Direct Lake に備える)
進捗の記録にはログインが必要です。
理解度チェック
(軽い確認用)Q1. データの準備で、メダリオンアーキテクチャの「集計済み・ビジネス向け」層はどれですか?
Q2. 変換結果はどの形式で OneLake に保存され、Power BI から Direct Lake で参照できますか?
Q3. 提供前に Delta テーブルの読み取りを速くしたい。何を行いますか?

