変更要約: Professional Data Engineer 第4章を新規作成(ドメイン4「分析の準備と使用」: 可視化準備=Looker/Looker Studio・マテリアライズドビュー/BI Engine・遅いクエリ対処・データマスキング/IAM/Cloud DLP/列・行アクセス制御、AI/ML 向け準備と共有=BigQuery ML/特徴量エンジニアリング・埋め込み/RAG・Analytics Hub)。
4.2AI/ML 向けのデータ準備と共有
特徴量エンジニアリングと学習・サービングのためのデータ準備(BigQuery ML)、埋め込みと検索拡張生成(RAG)のための非構造化データの準備、そしてデータ共有(共有ルール・データセット公開・Analytics Hub)を理解します。
分析の先には、AI/ML とデータ共有があります。データエンジニアは、ML が使えるデータを準備し、組織内外と安全にデータを共有します。
4.2.1AI/ML 向けのデータ準備
構造化データの ML は、BigQuery 内で SQL だけでモデルを作る BigQuery ML が手軽です(特徴量エンジニアリング・学習・予測を SQL で)。生成 AI 向けには、非構造化データ(文書など)を 埋め込み(embeddings) にして、関連情報を取り出して回答に使う 検索拡張生成(RAG) の基盤を整えます。「BigQuery 上で SQL だけで ML=BigQuery ML」「非構造化を生成 AI で使う=埋め込み/RAG」と結びます。
4.2.2データの共有
データは、共有のルールを定めた上で、データセットを公開したり、レポート/可視化を共有したりします。BigQuery のデータをコピーせずに社内外の他組織と安全に共有するには Analytics Hub を使います(提供者がリスティングを公開し、受領者が購読して参照)。重複や同期の手間を避けられます。「コピーなしのデータ共有=Analytics Hub」を押さえます。

