Instiq
第2章 · チーム横断のデータとモデル管理·v1.0.0·更新 2026/6/15·読了目安 約14分

変更要約: Professional Machine Learning Engineer 第2章を新規作成(ドメイン2「コラボレーション」: 組織データ源(Cloud Storage/BigQuery/Spanner/Cloud SQL/Spark/Hadoop)・Vertex AI データセット・前処理(Dataflow/TFX/BigQuery)・Vertex AI Feature Store・PII/PHI プライバシー、Jupyter バックエンド(Vertex AI Workbench/Colab Enterprise/Dataproc)・セキュリティ・フレームワーク(TensorFlow/PyTorch/sklearn/Spark/JAX)・Model Garden・実験追跡(Vertex AI Experiments/Kubeflow Pipelines/TensorBoard)・生成 AI 評価)。

2.2ノートブックと実験管理

この節の要点

Google Cloud の Jupyter バックエンド選択(Vertex AI Workbench・Colab Enterprise・Dataproc 上のノートブック)、Vertex AI Workbench のセキュリティのベストプラクティス、Spark カーネル、コードリポジトリ統合、各種フレームワーク(TensorFlow/PyTorch/sklearn/Spark/JAX)での開発、Model Garden の基盤/オープンソースモデル活用、ML 実験の追跡(Vertex AI Experiments・Kubeflow Pipelines・Vertex AI TensorBoard)、生成 AI ソリューションの評価を理解します。

プロトタイピングはノートブックで行い、実験は体系的に記録します。記録なしの試行錯誤は再現できません。

2.2.1ノートブック環境とフレームワーク

Jupyter のバックエンドは要件で選びます:本格的な ML 開発はマネージドな Vertex AI Workbench、共同編集や手軽さは Colab Enterprise、既存の Spark/Hadoop 上で動かすなら Dataproc 上のノートブックSpark カーネル)です。Workbench では セキュリティのベストプラクティス(最小権限の SA・限定公開・ユーザー管理 vs マネージド)を適用し、コードリポジトリ統合 でバージョン管理します。開発は TensorFlowPyTorchsklearnSparkJAX など使い慣れたフレームワークで行い、Model Garden の基盤/オープンソースモデルを活用します。「マネージドな ML 開発環境=Vertex AI Workbench」「Spark を使う=Dataproc ノートブック」を結びます。

2.2.2実験の追跡と生成 AI の評価

試行の再現性のため、実験を体系的に記録します。パラメータ/メトリクス/成果物の比較は Vertex AI Experiments、学習曲線や可視化は Vertex AI TensorBoard(TensorFlow/PyTorch 対応)、パイプライン型の実験は Kubeflow Pipelines を使います。生成 AI では精度だけでなく、生成 AI ソリューションの評価(自動メトリクス・人手評価・LLM-as-judge による品質/安全性/根拠性の評価)を行い、改善のループを回します。「実験の記録/比較=Vertex AI Experiments」「学習曲線の可視化=TensorBoard」「生成 AI の品質評価=評価メトリクス/人手/judge」を押さえます。

試験ポイント

要件 → 手段」が頻出。例:「マネージドな Jupyter で本格的に ML 開発」=Vertex AI Workbench、「共同編集で手軽に」=Colab Enterprise、「既存 Spark 上で」=Dataproc ノートブック、「パラメータ/メトリクスを記録・比較」=Vertex AI Experiments、「学習曲線を可視化」=Vertex AI TensorBoard、「生成 AI の出力品質を評価」=生成 AI 評価(自動/人手/judge)。

注意

混同に注意:
Vertex AI Experiments(実験の記録/比較)と TensorBoard(学習曲線の可視化)は役割が別=併用する。
ノートブックのセキュリティ(広い SA・公開 IP)を放置しない=最小権限/限定公開。
生成 AI は精度だけで測れない=品質/安全性/根拠性を評価する。

Jupyter バックエンド(Vertex AI Workbench/Colab Enterprise/Dataproc)、実験追跡(Vertex AI Experiments/TensorBoard/Kubeflow Pipelines)、生成 AI を品質/安全性/根拠性で評価する図。
試行を記録し評価

2.2.3この節のまとめ

  • Jupyter=Vertex AI Workbench(本格)/Colab Enterprise(手軽)/Dataproc(Spark)、Workbench はセキュリティ徹底
  • 実験の記録/比較=Vertex AI Experiments、学習曲線=TensorBoard、パイプライン実験=Kubeflow Pipelines
  • 生成 AI は品質/安全性/根拠性を評価(自動メトリクス/人手/judge)

進捗の記録にはログインが必要です。

理解度チェック

(軽い確認用)

Q1. マネージドな Jupyter 環境で、最小権限と限定公開のもと本格的に ML 開発を行いたい。最適なのはどれですか?

Q2. 複数の試行のパラメータ・メトリクス・成果物を記録し、後で比較したい。最適なのはどれですか?

Q3. 学習の損失曲線や精度の推移をグラフで可視化したい。最適なのはどれですか?

Q4. 既存の Spark/Hadoop クラスタ上で、Spark カーネルを使ってノートブック開発したい。最適なのはどれですか?

Q5. 生成 AI ソリューションの良し悪しを、精度だけでなく品質・安全性・根拠性の観点で評価したい。最も適切なのはどれですか?

理解度を確認第2章「チーム横断のデータとモデル管理」の問題を解く