Instiq
第1章 · 分析ソリューションの計画・実装・管理·v2.0.0·更新 2026/6/3·読了目安 約9分

変更要約: DP-600 第1章を深掘り(図ja化・比較表/シナリオ/FAQ/ひっかけ/深掘り段落を全節に追加)

1.3データの準備(取り込みと変換)

この節の要点

DP-600 で最大のドメイン「データの準備と提供」の基礎——取り込み(パイプライン・データフロー・ショートカット)と 変換(Spark・T-SQL・メダリオン)、Delta テーブル の最適化を理解します。

提供(セマンティックモデル/レポート)の前に、データを取り込み・変換して整える必要があります。これは DP-600 の最大ドメインです。

1.3.1取り込みと変換

ソースから取り込み(パイプライン/データフロー Gen2/ショートカット)、変換(Spark ノートブック・T-SQL・メダリオンのブロンズ→シルバー→ゴールド)を経て、Delta テーブルとして OneLake に保存し、最適化(V-Order/OPTIMIZE)して提供に備える流れを示した図。
データの準備
  • 取り込みパイプライン(制御)・データフロー Gen2(ノーコード)・ショートカット(参照)を使い分ける。
  • 変換Spark(大規模)・T-SQL(Warehouse)で整形し、メダリオンで段階的に品質を上げる。
  • Delta テーブル:結果は Delta として OneLake に保存し、SQL/Power BI から参照する。
  • 最適化V-Order/OPTIMIZE で読み取りを最適化し、提供(Direct Lake)に備える。
試験ポイント

「取り込み=パイプライン/Dataflow/ショートカット」「変換=Spark/T-SQL+メダリオン」「結果は Delta で OneLake へ」「読み取り最適化=V-Order/OPTIMIZE」 は DP-600 で頻出です。準備したゴールド層を次章でセマンティックモデルに提供します。

取り込みは目的で選びます:複雑な制御フロー/スケジュールは データパイプライン、ノーコード整形は データフロー Gen2(Power Query)、移動せず参照は ショートカット、大量の単純コピーは Copy アクティビティ。変換は Spark ノートブック(PySpark/Spark SQL・大規模/ML・MERGE で増分)か T-SQL(Warehouse・セットベース)を使い、メダリオン(ブロンズ=生→シルバー=クレンジング/結合→ゴールド=集計/ビジネス向け)で品質を段階化します。結果はすべて Delta テーブル として OneLake に保存(ACID・タイムトラベル・スキーマ進化)。提供前の最適化が重要で、V-Order(読み取り最適化された並び)と OPTIMIZE(小さなファイルの圧縮統合・small files 問題対策)、VACUUM(古いファイル削除)を行い、Direct Lake の高速参照に備えます。DP-600 ではこのゴールド層が次のセマンティックモデルの土台になるため、適切な粒度・型・パーティション・命名で整えることが、後段の DAX とレポート性能に直結します。

工程手段成果
取り込みパイプライン/Dataflow Gen2/ショートカット/Copy生データ(ブロンズ)
変換Spark / T-SQL(メダリオン)クレンジング/集計(シルバー/ゴールド)
最適化V-Order / OPTIMIZE / VACUUM提供に最適な Delta
補足

シナリオ: 複数ソースの生データを夜間に取り込み、整形・集計してセマンティックモデルに渡したい。→ データパイプラインでスケジュール、Spark/T-SQL でメダリオン(ブロンズ→シルバー→ゴールド)を構築、ゴールドの Delta を V-Order/OPTIMIZE で最適化。次章でこのゴールド層を Direct Lake のセマンティックモデルとして提供します。

補足

FAQ: Q. なぜ提供前に最適化するの? → A. 小さなファイルや非最適な並びは Direct Lake/SQL の読み取りを遅くするため、V-Order/OPTIMIZE で読み取りを速くしてから提供します。Q. ゴールド層の設計が重要なのはなぜ? → A. セマンティックモデルの土台になり、粒度・型・命名が後段の DAX とレポート性能を左右するためです。

注意

ひっかけ: 「small files 問題の対処は VACUUM」は誤りです。小ファイルの圧縮統合は OPTIMIZE、VACUUM は古い未参照ファイルの削除。また「変換結果は CSV など任意形式で OneLake に保存される」も誤り(標準は Delta テーブルで、ACID/タイムトラベル/Direct Lake 参照が可能)。

1.3.2この節のまとめ

  • 準備=取り込み→変換(メダリオン)→Delta→最適化
  • 最適化=V-Order/OPTIMIZE(提供=Direct Lake に備える)

進捗の記録にはログインが必要です。

理解度チェック

(軽い確認用)

Q1. データの準備で、メダリオンアーキテクチャの「集計済み・ビジネス向け」層はどれですか?

Q2. 変換結果はどの形式で OneLake に保存され、Power BI から Direct Lake で参照できますか?

Q3. 提供前に Delta テーブルの読み取りを速くしたい。何を行いますか?

理解度を確認第1章「分析ソリューションの計画・実装・管理」の問題を解く