Instiq
第5章 · テスト・検証・トラブルシューティング·v1.0.0·更新 2026/6/22·読了目安 約11分

変更要約: 初版: ドメイン5(テスト・検証・トラブルシュート)の2節を作成

5.2GenAI アプリケーションのトラブルシューティング

この節の要点

GenAI 固有の不具合の切り分けを学びます。コンテキストウィンドウ超過、FM API 統合の問題、プロンプトの不具合、検索(埋め込み品質/ドリフト)の問題、スキーマ検証CloudWatch LogsX-Ray でのプロンプト保守を扱います。

GenAI の不具合は「入力(コンテキスト)・検索・プロンプト・API」のどこかに起因します。症状から原因の層を切り分け、再現・修正・回帰防止までを体系的に行います。

5.2.1症状から原因を切り分ける

  • コンテキスト超過:応答が途中で切れる/情報が欠落=コンテキストウィンドウ超過。動的チャンキング・プロンプト設計・切り捨てエラー分析で対処。
  • API 統合の問題:エラーログ・リクエスト検証・レスポンス解析で GenAI サービス固有の統合エラーを特定する。
  • 検索の問題:関連性低下=埋め込み品質/ドリフト/ベクトル化/チャンキングを診断し、ベクトル検索性能を最適化する。
  • プロンプト保守:テンプレートテスト・版比較・スキーマ検証で形式不整合を検出、CloudWatch LogsX-Ray でプロンプトのオブザーバビリティを確保。
試験ポイント

「応答が途中で切れる/情報欠落=コンテキストウィンドウ超過(動的チャンキング/切り捨て分析)」「検索が外れる=埋め込み品質/ドリフト/チャンキングを診断」「出力形式が崩れる=スキーマ検証」「プロンプトの可観測性=CloudWatch Logs/X-Ray」 は頻出です。

トラブルシュートは「症状→層の切り分け→修正→回帰防止」で進めます。回答が途中で切れる/必要情報が落ちるのは コンテキストウィンドウ 超過が典型で、動的チャンキング・プロンプト設計の見直し・切り捨てエラー分析で対処します。回答が的外れなら検索層を疑い、埋め込み品質・埋め込みドリフト・ベクトル化・チャンキング・前処理を順に診断(前章の「チャンク→埋め込み→ハイブリッド/reranker→クエリ前処理」の切り分けと整合)。API 統合の不具合は CloudWatch Logs のエラーログ・リクエスト検証・レスポンス解析、サービス境界は X-Ray でトレース。出力形式の崩れは JSON Schema によるスキーマ検証で検出し、プロンプトの混乱はテンプレートテスト版比較・体系的なリファインメントで解消します。再発防止には回帰テストと品質ゲート(前節)を CI に組み込み、プロンプトのオブザーバビリティ(CloudWatch LogsX-Ray)で継続的に監視します。

続きは無料登録で読めます

冒頭を無料で公開中。無料登録でこの節の全文と、第4章以降を含む全参考書・全問題集が読めます。