変更要約: Cloud Digital Leader 第2章を新規作成(ドメイン2「データ」: データの価値とデータの種類=構造化/半構造化/非構造化・バッチ/ストリーミング、Google Cloud のデータ管理ソリューション=Cloud Storage/Cloud SQL/Spanner/Firestore/Bigtable/BigQuery/Dataflow/Pub/Sub/Looker)。
2.1データの価値とデータの種類
データがビジネスの意思決定や AI の燃料として持つ価値、構造化・半構造化・非構造化データの違い、バッチ処理とストリーミング処理の使い分け、そしてデータが生成されてから価値に変わるまでのデータライフサイクルを理解します。
現代の組織にとってデータは最も重要な資産の一つです。蓄積したデータを分析すれば、より良い意思決定や新しいサービスにつながり、さらに AI/機械学習 の「燃料」にもなります。一方で、データはそのままでは価値を生まず、集めて・整え・分析して初めて意味を持ちます。まずはデータの種類と処理方法を押さえます。
2.1.1データの3つの種類
| 種類 | 特徴 | 例 |
|---|---|---|
| 構造化データ | 行と列の決まった形式(スキーマあり) | 売上表・顧客テーブル |
| 半構造化データ | タグやキーで緩く構造化 | JSON・XML |
| 非構造化データ | 決まった形式がない | 画像・動画・文章・音声 |
構造化データ は表計算やリレーショナルデータベースのように行と列の決まった形式を持ち、検索・集計が容易です。半構造化データ は JSON や XML のようにタグやキーで緩く構造化されています。非構造化データ は画像・動画・文章・音声のように決まった形式がなく、世の中のデータの大半を占めます。近年は非構造化データを AI で活用できるようになり、価値が高まっています。
2.1.2バッチ処理とストリーミング処理
データの処理方法は大きく2つです。バッチ処理 は、一定量をためてからまとめて処理します(例:1日分の売上を夜間に集計)。ストリーミング処理 は、データが届くたびにリアルタイムで処理します(例:センサーや決済の異常検知)。「いつ結果が必要か」で選びます。即時性が重要ならストリーミング、まとめてで十分ならバッチが適します。
「例 → 種類/処理」が頻出。例:「画像・動画・音声」=非構造化、「JSON/XML」=半構造化、「行と列の売上表」=構造化、「届くたびリアルタイムに異常検知」=ストリーミング、「夜間にまとめて集計」=バッチ、「データは AI の燃料」=データの価値。
混同に注意:
①構造化(決まった形式)/半構造化(JSON等)/非構造化(画像・文章)。
②バッチ(ためて処理)とストリーミング(リアルタイム)は「即時性が必要か」で選ぶ。
③データは集めただけでは価値にならず、整えて分析して初めて価値になる。
2.1.3この節のまとめ
- データは意思決定と AI の燃料。集めて整え分析して初めて価値になる
- 種類=構造化(表)/半構造化(JSON・XML)/非構造化(画像・動画・文章・音声)
- 処理=バッチ(ためて処理)vs ストリーミング(リアルタイム)。即時性で選ぶ
進捗の記録にはログインが必要です。
理解度チェック
(軽い確認用)Q1. 画像・動画・音声・自由記述の文章のように、決まった形式を持たないデータはどれですか?
Q2. 行と列の決まった形式を持ち、検索や集計が容易なデータはどれですか?
Q3. JSON や XML のように、タグやキーで緩く構造化されたデータはどれですか?
Q4. センサーや決済のデータが届くたびにリアルタイムで異常を検知したい場合に適した処理方法はどれですか?
Q5. 1日分の売上を夜間にまとめて集計するような処理方法はどれですか?
Q6. データの価値について最も適切な説明はどれですか?

