1データの取り込みと変換
- 1.1データの取り込み(バッチとストリーミング)
バッチ取り込み(スケジュール・大量一括)とストリーミング取り込み(連続・準リアルタイム)の違い、Kinesis Data Streams / Data Firehose / MSK の使い分けを理解します。DEA-C01 の「データの取り込みと変換」の出発点です。
- 1.2AWS Glue による ETL とデータカタログ
AWS Glue のクローラとデータカタログ(スキーマ推論・中央メタデータ)、サーバーレス Spark の ETL ジョブ、ETL と ELT の違いを理解します。
- 1.3オーケストレーションとストリーミング処理
パイプラインのオーケストレーション(Step Functions / Managed Workflows for Apache Airflow)、ストリーミング処理(Managed Service for Apache Flink)、Lambda による軽量変換を理解します。

