Instiq
第4章 · 生成 AI の品質保証と可観測性·v1.1.0·更新 2026/6/11·読了目安 約13分

変更要約: 各節に図(figure)を追加=cert-figure-retrofit。AI-300 第4章を新規作成(ドメイン4「生成 AI の品質保証と可観測性」: 評価=テストデータセット/データマッピング/AI 品質メトリクス(根拠性/関連性/一貫性/流暢性)/リスク・安全性評価/自動評価ワークフロー、可観測性=Foundry 継続監視/パフォーマンス(レイテンシ/スループット/応答時間)/コスト(トークン消費/リソース使用)/ログ・トレース・デバッグ)

4.1生成 AI アプリ・エージェントの評価と検証

この節の要点

テストデータセットとデータマッピングの作成、AI 品質メトリクス(根拠性/関連性/一貫性/流暢性)、有害コンテンツ検出のためのリスクと安全性の評価、そして組み込み/カスタムのメトリクスによる自動評価ワークフローの構成を理解します。

生成 AI は出力が一意でないため、評価(evaluation)が運用の要になります。AI-300 では、品質と安全性を測定可能なメトリクスで評価し、自動化することが問われます。

4.1.1テストデータセットと品質メトリクス

評価には、入力と期待される出力(または根拠)を含む テストデータセットと、列の対応を定義する データマッピングを用意します。生成 AI の品質は AI 品質メトリクスで測ります:根拠性(groundedness)(提供した根拠に基づいているか=ハルシネーションの逆)、関連性(relevance)(質問に答えているか)、一貫性(coherence)(論理的に筋が通っているか)、流暢性(fluency)(自然な文章か)。RAG では根拠性と関連性が特に重要です。

4.1.2リスク・安全性評価と自動評価

品質だけでなく リスクと安全性の評価も行います。有害コンテンツ(暴力・憎悪・性的・自傷など)や脱獄(jailbreak)への耐性を評価し、安全でない出力を検出します。これらは 自動評価ワークフローとして構成し、組み込みメトリクスに加え、必要に応じて カスタムメトリクス(自社固有の基準)を定義して、デプロイ前後で継続的に評価します。「評価をパイプライン化して品質ゲートにする」のが GenAIOps の品質保証です。

続きは無料登録で読めます

冒頭を無料で公開中。無料登録でこの節の全文と、第4章以降を含む全参考書・全問題集が読めます。