【pandas】ダミー変数化を使って質的→量的データに変換する方法

機械学習の前処理として、データの特徴を掴むことは必須です。
今回は、特徴量生成の際に必須の「ダミー変数化」についてご紹介します。

この記事のサンプルコード

目次

ダミー変数化とは

ダミー変数化とは質的データを量的データに変換することです。

データの種類を大きく2つに分けると

  • 量的データ(数値)—例:145, 4000, 355
  • 質的データ(カテゴリ変数)—例:朝, 昼, 夜

に分けられます。

機械学習を行う際には、質的データはそのままでは使用できません
なぜなら、モデル構築の際にデータを使用できないからです。

計算を行うためには数値化してあげる必要があります。

One-Hot表現とは

ダミー変数化する手法として「One-Hot表現」があります。

One-Hot表現とは、1つのカラムを複数カラムに分割し、0と1で表現する手法です。
該当する項目には1を、それ以外には0を埋めます。

時間帯
0
1
2
3
4

上記のようなカテゴリがあるとして、ダミー変数化すると

0001
1010
2100
3001
4100

このようになります。

なぜダミー変数化が必要なのか

わざわざ面倒なダミー変数化をなぜする必要があるのでしょうか。
それは数値に意味を持たせずにカテゴリとして表現する必要があるからです

例えば、朝・昼・夜の項目を1,2,3とラベル付けしてみます。

時間帯No
01
12
23
31
43

朝が1、夜が3となりました。

しかし、データを持たせるという事は朝より夜のほうが大きいという大小関係を持ってしまうことになります。

カテゴリに大小関係など無いのにコンピュータにとっては意味のある数字となってしまうのです。

これを防ぐ手法として、ダミー変数化が使われます。

ダミー変数化する方法—pd.get_dummies()

pd.get_dummies()関数を使います。DataFrameやSeriesを引数とします。

import pandas as pd
from pandas import DataFrame
data = {
    '日付': [1,5,7,23,25],
    '迷子': [0,1,1,0,1],
    '時間帯':['朝','昼','夜','朝','夜']
}
df2 = pd.DataFrame(data=data)
df2
日付 迷子 時間帯
0 1 0
1 5 1
2 7 1
3 23 0
4 25 1

上記データフレームを作成しました。pd.get_dummies()関数を使ってみます。

df_dummies = pd.get_dummies(df2)
df_dummies
日付 迷子 時間帯_夜 時間帯_昼 時間帯_朝
0 1 0 0 0 1
1 5 1 0 1 0
2 7 1 1 0 0
3 23 0 0 0 1
4 25 1 1 0 0

時間帯の列が3つに分けられ、0と1で表現されています。
日付と迷子はint型ですのでダミー変数化はされていません。

ダミー変数化されるのは数値以外の型のみになります。(引数を指定しない場合)

>>> df2.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 5 entries, 0 to 4
Data columns (total 2 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   時間帯     5 non-null      object
 1   No      5 non-null      int64 
dtypes: int64(1), object(1)
memory usage: 208.0+ bytes

最初のカテゴリを除外する—drop_first=True

n個のカテゴリを表現する場合、実際にはn-1個のカテゴリ変数で表現できます。

最初のカテゴリを除外するには引数としてdrop_first=Trueを指定します。

df_dummies2 = pd.get_dummies(df2, drop_first=True)
df_dummies2
日付 迷子 時間帯_昼 時間帯_朝
0 1 0 0 1
1 5 1 1 0
2 7 1 0 0
3 23 0 0 1
4 25 1 0 0

時間帯_夜が無くなり、2つのカテゴリで表現されています。

参考

この記事のサンプルコード

pandas公式ドキュメント:pandas.get_dummies

機械学習・データ処理を学ぶのにおすすめの教材

動画で学習するなら!

本気で取り組むならまずは相談!

じっくり書籍で学習するなら!

この記事が気に入ったら
フォローしてね!

よかったらシェアしてね!

コメント

コメントする

目次
閉じる