Instiq

4モデルのサービングとスケール

問題集で演習する →用語集を見る →
  • 4.1モデルのサービング

    バッチ推論とオンライン推論(Vertex AI・Dataflow・BigQuery ML・Dataproc)、各種フレームワーク(PyTorch・XGBoost など)でのサービング、モデルレジストリの整理、モデルバージョンの A/B テストを理解します。

  • 4.2オンラインサービングのスケール

    Vertex AI Feature Store、Vertex AI の公開/限定公開エンドポイント、適切なハードウェア(CPU/GPU/TPU/エッジ)の選択、スループットに応じたサービングバックエンドのスケール(Vertex AI Prediction・コンテナ化サービング)、本番での訓練/サービング向けのモデルチューニング(単純化・性能/レイテンシ/メモリ/スループット最適化)を理解します。