\
CHAPTER
03
データ集計・前処理
DATA PREPARATION分析の前にデータを整理し、比較・分析しやすい形へ整えるための基本手法。集計からデータ加工まで、分析結果の質を支える重要な工程です。
METHODS IN THIS CHAPTER
METHOD 11
クロス集計
CROSS TABULATIONPURPOSE
項目を掛け合わせて違いを知りたい
CATEGORY 03
データ集計・前処理
2つ以上の項目を組み合わせて表形式に集計し、属性や条件ごとの件数・割合・平均などの違いを確認する方法。
■ VISUAL
年代 × 商品カテゴリのクロス集計
商品A
商品B
商品C
20代
18
42
21
30代
31
28
35
40代
38
20
27
この手法でわかること・できること
- 複数の属性を組み合わせた傾向を把握できる
- グループごとの違いや特徴を比較できる
- 単純集計では見えにくい偏りや特徴を発見できる
METHOD 12
欠損値処理
MISSING VALUE HANDLINGPURPOSE
欠けたデータを分析できる形にしたい
CATEGORY 03
データ集計・前処理
データの一部が空欄になっている「欠損値」を確認し、削除や補完などの方法で分析に使える状態へ整える処理。
■ VISUAL
顧客データの欠損例
ID年齢購入額地域
001348,500東京
002—6,200大阪
00341—東京
004299,100福岡
この手法でわかること・できること
- データのどこに欠損があるか確認できる
- 欠損の割合や発生傾向を把握できる
- 削除・補完など適切な処理方法を選べる
METHOD 13
標準化・正規化
STANDARDIZATION / NORMALIZATIONPURPOSE
単位や尺度をそろえて比較したい
CATEGORY 03
データ集計・前処理
単位や数値の大きさが異なるデータを、同じ尺度で比較できるように変換する方法。
■ VISUAL
異なる尺度をそろえるイメージ
変換前
年齢
35
年収
840
回数
8
→
変換後
年齢
.54
年収
.68
回数
.43
この手法でわかること・できること
- 異なる単位のデータを同じ基準で扱える
- 値の大きさによる影響を抑えて比較できる
- 機械学習の前処理として利用できる
METHOD 14
特徴量エンジニアリング
FEATURE ENGINEERINGPURPOSE
分析に役立つ新しい変数を作りたい
CATEGORY 03
データ集計・前処理
既存のデータを組み合わせたり変換したりして、分析や予測に役立つ新しい特徴量を作る方法。
■ VISUAL
元データから特徴量を作るイメージ
元データ
購入日時
購入回数
総購入額
→
新しい特徴量
曜日・時間帯
購入頻度
平均購入額
この手法でわかること・できること
- 元データから分析に有効な新しい情報を作れる
- データの特徴をモデルに伝えやすくできる
- 予測精度や分析の説明力を高められる