変更要約: 各節に図(figure)を追加=cert-figure-retrofit。AI-300 第4章を新規作成(ドメイン4「生成 AI の品質保証と可観測性」: 評価=テストデータセット/データマッピング/AI 品質メトリクス(根拠性/関連性/一貫性/流暢性)/リスク・安全性評価/自動評価ワークフロー、可観測性=Foundry 継続監視/パフォーマンス(レイテンシ/スループット/応答時間)/コスト(トークン消費/リソース使用)/ログ・トレース・デバッグ)
4.2生成 AI アプリ・エージェントの可観測性
Foundry での継続的な監視、パフォーマンスメトリクス(レイテンシ・スループット・応答時間)の監視、コストメトリクス(トークン消費量・リソース使用量)の追跡と最適化、そして本番のトラブルシュートのための詳細なログ・トレース・デバッグの構成を理解します。
生成 AI アプリは本番で継続的に監視し、性能・コスト・障害を把握して改善します。これが 可観測性(observability)で、GenAIOps の運用ループを支えます。
4.2.1パフォーマンスとコストの監視
Foundry の 継続的な監視で、パフォーマンスメトリクス(レイテンシ=応答までの遅延、スループット=単位時間あたりの処理量、応答時間)を追跡します。生成 AI 特有の重要指標が コストメトリクスで、特に トークン消費量(入力+出力トークン)とリソース使用量を監視・最適化します。トークン消費はそのままコストに直結するため、プロンプトの簡潔化やキャッシュ、適切なモデル選択でコストを下げます。
4.2.2ログ・トレース・デバッグ
本番のトラブルシュートには 詳細なログ・トレース・デバッグが必要です。トレースは、リクエストがアプリ→検索(RAG)→モデル→ツールとどう流れたかを可視化し、遅延や失敗の原因を特定します(分散トレース)。エージェントのように複数ステップが連なる場合、トレースは特に有効です。ログとあわせて、品質劣化やエラーの根本原因を素早く突き止めます。

