変更要約: Professional Data Engineer 第4章を新規作成(ドメイン4「分析の準備と使用」: 可視化準備=Looker/Data Studio・マテリアライズドビュー/BI Engine・遅いクエリ対処・データマスキング/IAM/Cloud DLP/列・行アクセス制御、AI/ML 向け準備と共有=BigQuery ML/特徴量エンジニアリング・埋め込み/RAG・Analytics Hub)。
4.1可視化のためのデータ準備
BI ツールへの接続、事前計算(マテリアライズドビュー・BI Engine)による高速化、遅いクエリのトラブルシューティング、そしてセキュリティ・データマスキング・IAM・Cloud DLP による分析データの保護を理解します。
蓄えたデータは、分析・可視化されて初めて価値を生みます。データエンジニアは、BI が速く・安全に使えるようデータを準備します。
4.1.1可視化と高速化
BI ツール(Looker・Data Studio)を BigQuery に接続して可視化します。高速化には、事前に計算・集計しておく マテリアライズドビュー や、BigQuery のインメモリ分析を高速化する BI Engine を使います。よく使う指標を 事前計算 しておくと、ダッシュボードの応答が速くなります。遅いクエリは、スキャン量・結合・パーティション/クラスタリングの観点で トラブルシューティング します。「ダッシュボードを高速化=BI Engine/マテリアライズドビュー」と結びます。
4.1.2分析データの保護
分析データも保護が要ります。アクセスは IAM の最小権限で、機微情報は Cloud DLP(Sensitive Data Protection) で発見し、データマスキング(列レベルのマスキング・動的マスキング)で見せ方を制御します。BigQuery では、列/行レベルのアクセス制御で「誰がどの列/行を見られるか」を細かく制御できます。「分析でも機微情報を保護=マスキング/IAM/Cloud DLP」を押さえます。
「要件 → 手段」が頻出。例:「ダッシュボードを高速化」=BI Engine/マテリアライズドビュー、「よく使う集計を事前計算」=マテリアライズドビュー、「機微列を伏せて見せる」=データマスキング、「機微情報を検出」=Cloud DLP、「誰がどの列/行を見られるか制御」=列/行レベルのアクセス制御。
混同に注意:
①マテリアライズドビュー(事前計算)と BI Engine(インメモリ高速化)は別手段(併用可)。
②分析でも機微情報の保護を忘れない(マスキング/列・行アクセス制御)。
③遅いクエリはスキャン量から疑う(パーティション/クラスタリング)。
4.1.3この節のまとめ
- BI(Looker/Data Studio)を接続、高速化は BI Engine/マテリアライズドビュー
- 遅いクエリはスキャン量/結合/パーティション・クラスタリングで対処
- 分析データも IAM・Cloud DLP・データマスキング・列/行アクセス制御で保護
進捗の記録にはログインが必要です。
理解度チェック
(軽い確認用)Q1. よく使う集計を事前計算して BigQuery のダッシュボードを高速化したい。最適なのはどれですか?
Q2. BigQuery のインメモリ分析を高速化する機能はどれですか?
Q3. 分析データの機微な列を伏せて見せたい。最適なのはどれですか?
Q4. 機微情報(PII)を検出して分析データを保護したい。使うのはどれですか?
Q5. BigQuery のクエリが遅い。まず疑うべき観点はどれですか?
Q6. 誰がどの列/行を見られるかを細かく制御したい。BigQuery で使うのはどれですか?

