3.3基盤モデルの選定と評価

基盤モデルは1つではありません。用途に対する精度・コスト・レイテンシのバランスで選びます。

3.3.1選定の観点

• 精度・品質：自社のタスク・データで評価し、目的に合うかを確認する。最大のモデルが常に最適とは限らない。
• コスト：多くはトークン単位で課金。大きいモデルほど高精度になりやすいが高コスト。
• レイテンシ：応答速度。チャットなどリアルタイム用途では特に重要。
• その他：対応言語・マルチモーダル対応・コンテキストウィンドウの大きさ・ライセンス/カスタマイズ可否なども考慮。

モデルの良し悪しは「自社のタスクで実際に試して測る」のが基本です。評価には、正解と照らす自動指標（要約や翻訳の品質スコアなど）と、人が出力を見て判断する人手評価（human evaluation）があります。ベンチマークの数値が高くても、自社の用途で良いとは限らないため、代表的な入力で比較するのが実務的です。AIF-C01 では「最大・最新のモデルを選べばよい」ではなく、用途に対する精度・コスト・レイテンシのバランスで選ぶ、という考え方が問われます。

3.3.2応用を支える AI/ML の in-scope サービス

基盤モデルの応用や評価を支える AWS の AI/ML サービスも AIF-C01 の範囲です。自分のデータで ML モデルを構築・学習・デプロイし、基盤モデルの利用やチューニングも担う統合プラットフォームが Amazon SageMaker AI（旧称 Amazon SageMaker）です。ユーザーごとのレコメンデーション（おすすめ）を、独自の ML 知識なしに提供できるマネージドサービスが Amazon Personalize。そして本節の評価・堅牢性に直結するのが Amazon Augmented AI（A2I）で、ML や生成 AI の予測のうち信頼度の低いもの・重要なものを人間のレビューに回す仕組み（human-in-the-loop）を簡単に組み込めます。たとえば書類抽出の確信度が低い項目だけ人が確認する、といった運用に使います。

3.3.3この節のまとめ

• 選定＝精度・コスト・レイテンシのバランス。評価は自社データで（自動指標＋人手評価）
• 最大・最新のモデルが常に最適とは限らない（過剰なコスト/レイテンシに注意）
• 出力はハルシネーションに注意し、人の確認/RAG で補強
• 応用を支える＝SageMaker AI（構築/学習/デプロイ）／Personalize（推薦）／Augmented AI=A2I（人手レビュー）