変更要約: 各節に図（figure）を追加＝cert-figure-retrofit。AI-300 第4章を新規作成（ドメイン4「生成 AI の品質保証と可観測性」: 評価=テストデータセット/データマッピング/AI 品質メトリクス(根拠性/関連性/一貫性/流暢性)/リスク・安全性評価/自動評価ワークフロー、可観測性=Foundry 継続監視/パフォーマンス(レイテンシ/スループット/応答時間)/コスト(トークン消費/リソース使用)/ログ・トレース・デバッグ）
4.1生成 AI アプリ・エージェントの評価と検証
テストデータセットとデータマッピングの作成、AI 品質メトリクス（根拠性／関連性／一貫性／流暢性）、有害コンテンツ検出のためのリスクと安全性の評価、そして組み込み/カスタムのメトリクスによる自動評価ワークフローの構成を理解します。
生成 AI は出力が一意でないため、評価（evaluation）が運用の要になります。AI-300 では、品質と安全性を測定可能なメトリクスで評価し、自動化することが問われます。
4.1.1テストデータセットと品質メトリクス
評価には、入力と期待される出力（または根拠）を含む テストデータセットと、列の対応を定義する データマッピングを用意します。生成 AI の品質は AI 品質メトリクスで測ります：根拠性（groundedness）（提供した根拠に基づいているか＝ハルシネーションの逆）、関連性（relevance）（質問に答えているか）、一貫性（coherence）（論理的に筋が通っているか）、流暢性（fluency）（自然な文章か）。RAG では根拠性と関連性が特に重要です。
4.1.2リスク・安全性評価と自動評価
品質だけでなく リスクと安全性の評価も行います。有害コンテンツ（暴力・憎悪・性的・自傷など）や脱獄（jailbreak）への耐性を評価し、安全でない出力を検出します。これらは 自動評価ワークフローとして構成し、組み込みメトリクスに加え、必要に応じて カスタムメトリクス（自社固有の基準）を定義して、デプロイ前後で継続的に評価します。「評価をパイプライン化して品質ゲートにする」のが GenAIOps の品質保証です。
| 観点 | メトリクス/手段 | 意味 |
|---|---|---|
| 根拠に基づくか | 根拠性（groundedness） | ハルシネーションの逆 |
| 質問に答えるか | 関連性（relevance） | 的確さ |
| 筋が通るか | 一貫性（coherence） | 論理性 |
| 自然な文章か | 流暢性（fluency） | 文章の自然さ |
| 安全か | リスク・安全性評価 | 有害コンテンツ/脱獄耐性 |
| 継続的に評価 | 自動評価ワークフロー（組み込み/カスタム） | 品質ゲート |
混同に注意：
①根拠性（提供根拠に基づくか）と関連性（質問に答えているか）は別メトリクス——RAG ではどちらも重要。
②品質メトリクス（正しさ・自然さ）とリスク・安全性評価（有害コンテンツ）は別目的。
③評価は自動ワークフローにして継続的な品質ゲートにする。
「測りたいこと → メトリクス」：例「根拠に基づかない作り話を測る」＝根拠性、「質問に答えているか」＝関連性、「論理的に筋が通るか」＝一貫性、「自然な文章か」＝流暢性、「有害な出力を検出」＝リスク・安全性評価、「継続的に品質ゲート化」＝自動評価ワークフロー（組み込み＋カスタム）。
4.1.3この節のまとめ
- テストデータセット＋データマッピングで評価。AI 品質メトリクス＝根拠性/関連性/一貫性/流暢性
- リスク・安全性評価で有害コンテンツ/脱獄耐性を検証
- 組み込み＋カスタムメトリクスの自動評価ワークフローを品質ゲートにする
進捗の記録にはログインが必要です。
理解度チェック
（軽い確認用）Q1. 生成 AI の応答が、提供された根拠に基づいているか（ハルシネーションの逆）を測る品質メトリクスはどれですか？
Q2. 応答が質問にきちんと答えているか（的確さ）を測るメトリクスはどれですか？
Q3. 有害コンテンツ（暴力・憎悪・性的・自傷など）や脱獄への耐性を確認するために行うのはどれですか？
Q4. 生成 AI の評価を継続的な品質ゲートにするために構成すべきものはどれですか？
Q5. 生成 AI の評価のために用意する、入力と期待される出力（根拠）を含むものはどれですか？
Q6. 根拠性と関連性の違いとして正しいものはどれですか？