変更要約: Professional Data Engineer 第4章を新規作成(ドメイン4「分析の準備と使用」: 可視化準備=Looker/Looker Studio・マテリアライズドビュー/BI Engine・遅いクエリ対処・データマスキング/IAM/Cloud DLP/列・行アクセス制御、AI/ML 向け準備と共有=BigQuery ML/特徴量エンジニアリング・埋め込み/RAG・Analytics Hub)。
4.1可視化のためのデータ準備
BI ツールへの接続、事前計算(マテリアライズドビュー・BI Engine)による高速化、遅いクエリのトラブルシューティング、そしてセキュリティ・データマスキング・IAM・Cloud DLP による分析データの保護を理解します。
蓄えたデータは、分析・可視化されて初めて価値を生みます。データエンジニアは、BI が速く・安全に使えるようデータを準備します。
4.1.1可視化と高速化
BI ツール(Looker・Looker Studio)を BigQuery に接続して可視化します。高速化には、事前に計算・集計しておく マテリアライズドビュー や、BigQuery のインメモリ分析を高速化する BI Engine を使います。よく使う指標を 事前計算 しておくと、ダッシュボードの応答が速くなります。遅いクエリは、スキャン量・結合・パーティション/クラスタリングの観点で トラブルシューティング します。「ダッシュボードを高速化=BI Engine/マテリアライズドビュー」と結びます。
4.1.2分析データの保護
分析データも保護が要ります。アクセスは IAM の最小権限で、機微情報は Cloud DLP(Sensitive Data Protection) で発見し、データマスキング(列レベルのマスキング・動的マスキング)で見せ方を制御します。BigQuery では、列/行レベルのアクセス制御で「誰がどの列/行を見られるか」を細かく制御できます。「分析でも機微情報を保護=マスキング/IAM/Cloud DLP」を押さえます。

