4モデルのサービングとスケール
- 4.1モデルのサービング
バッチ推論とオンライン推論(Vertex AI・Dataflow・BigQuery ML・Dataproc)、各種フレームワーク(PyTorch・XGBoost など)でのサービング、モデルレジストリの整理、モデルバージョンの A/B テストを理解します。
- 4.2オンラインサービングのスケール
Vertex AI Feature Store、Vertex AI の公開/限定公開エンドポイント、適切なハードウェア(CPU/GPU/TPU/エッジ)の選択、スループットに応じたサービングバックエンドのスケール(Vertex AI Prediction・コンテナ化サービング)、本番での訓練/サービング向けのモデルチューニング(単純化・性能/レイテンシ/メモリ/スループット最適化)を理解します。

