3.1パイプラインの運用とデータ品質

パイプラインは作って終わりではなく、監視し、失敗時に自動で対処し、データ品質を保つ運用が重要です。

3.1.1監視・自動化・品質

• 監視：CloudWatch でジョブの成否・所要時間・スループットを監視し、失敗時にアラームを出す。
• 自動化/リトライ：EventBridge のスケジュール起動、Step Functions のリトライ、失敗レコードの DLQ で堅牢化する。
• データ品質：Glue Data Quality でルールベースの検証を行い、不正データを早期に検出する。

パイプライン運用は「監視・自動化/リトライ・データ品質」の3本柱です。監視 は CloudWatch でジョブの成否・所要時間・スループットを見て、失敗や遅延に アラーム（→SNS 通知・EventBridge 連携）を出します。Glue/EMR/Step Functions のログは CloudWatch Logs に集約し、Logs Insights で原因を追います。自動化/リトライ は EventBridge（スケジュール/イベント起動）と Step Functions（ステップ単位のリトライ・指数バックオフ・キャッチ）で堅牢化し、処理しきれなかったレコードは DLQ（デッドレターキュー） に退避して後で再処理します。再実行を安全にする鍵は べき等性（同じ入力で結果が変わらない設計）です。データ品質 は Glue Data Quality（DQDL でルール定義・カラムの非 NULL/一意/範囲などを検証）で早期に不正データを検出し、不良は隔離して下流を守ります。失敗の通知だけでなく、バックフィル（過去分の再処理）や遅延データの扱いも運用設計に含めます。

3.1.2運用基盤の in-scope サービス

パイプラインの実行基盤・IaC・CI/CD・運用も DEA-C01 の範囲です。コンピュートでは Amazon EC2 に加え、コンテナ化 ETL を Amazon Elastic Container Service（ECS・AWS 独自・Fargate 統合で最小運用）または Amazon Elastic Kubernetes Service（EKS・Kubernetes 標準）でオーケストレーションします。インフラは AWS CloudFormation でテンプレートから宣言的に、AWS Cloud Development Kit（CDK）でプログラミング言語から定義し、AWS CLI でコマンドライン操作・自動化します。 リリースは AWS CodeBuild（ビルド/テスト）→ AWS CodeDeploy（制御デプロイ）→ AWS CodePipeline（ステージ束ね）で自動化します。フリートの構成管理・パッチ・パラメータは AWS Systems Manager、OSS の可観測性ダッシュボードは Amazon Managed Grafana、アーキテクチャの体系評価は AWS Well-Architected Tool で行います。コストは AWS Cost Explorer で可視化・予測し、AWS Budgets で予算閾値の超過を通知します。

3.1.3この節のまとめ

• 監視（CloudWatch）／自動化・リトライ（EventBridge・Step Functions・DLQ）
• データ品質はGlue Data Qualityで検証
• 実行基盤＝ECS/EKS、IaC＝CloudFormation/CDK、CI/CD＝Code 三兄弟、コスト＝Cost Explorer/Budgets