Instiq
第4章 · モデルのサービングとスケール·v1.0.0·更新 2026/6/15·読了目安 約15分

変更要約: Professional Machine Learning Engineer 第4章を新規作成(ドメイン4「サービング」: バッチ/オンライン推論(Vertex AI/Dataflow/BigQuery ML/Dataproc)・フレームワーク(PyTorch/XGBoost)・Vertex AI Model Registry・A/B テスト(トラフィック分割)、Vertex AI Feature Store オンラインサービング・公開/限定公開エンドポイント・ハードウェア(CPU/GPU/TPU/エッジ)・Vertex AI Prediction 自動スケール/コンテナ化サービング・量子化/蒸留/プルーニングによるレイテンシ/スループット最適化)。

4.1モデルのサービング

この節の要点

バッチ推論とオンライン推論(Vertex AI・Dataflow・BigQuery ML・Dataproc)、各種フレームワーク(PyTorch・XGBoost など)でのサービング、モデルレジストリの整理、モデルバージョンの A/B テストを理解します。

訓練したモデルを価値に変えるのがサービングです。用途に合う推論方式を選び、バージョンを管理し、安全に切り替えます。

4.1.1バッチ推論とオンライン推論

推論は用途で選びます。低レイテンシで 1 件ずつ即応するなら オンライン推論Vertex AI エンドポイント)、大量データを定期的にまとめて処理するなら バッチ推論Vertex AI バッチ予測・大規模変換は Dataflow・データが BigQuery なら BigQuery ML の ML.PREDICT・既存 Spark なら Dataproc)です。サービングは PyTorchXGBoost・TensorFlow など学習に使ったフレームワーク(またはカスタムコンテナ)で行います。「即時の単件応答=オンライン推論」「定期の大量処理=バッチ推論」「BigQuery のデータに直接推論=BigQuery ML」を結びます。

4.1.2モデルレジストリと A/B テスト

モデルの版を整理するには Vertex AI Model Registry を使い、バージョン・メタデータ・デプロイ状況を一元管理します。新バージョンを安全に出すには、本番トラフィックを旧/新へ分割する A/B テストトラフィック分割)で、実トラフィックでの性能/ビジネス指標を比較してから全面移行します。問題があれば即ロールバックします。「モデル版の一元管理=Vertex AI Model Registry」「新版を実トラフィックで比較=A/B テスト(トラフィック分割)」を押さえます。

続きは無料登録で読めます

冒頭を無料で公開中。無料登録でこの節の全文と、第4章以降を含む全参考書・全問題集が読めます。