Python用データ分析ライブラリpandasの基本的な使い方

1.   pandasについて

pandasは、高速で柔軟なデータ構造を提供するPythonパッケージです。Pythonで実用的なデータ分析をする際の、高水準な基盤となるべく開発されています。

pandasでは、様々な種類のデータを扱うことができます。

• ExcelやSQLテーブルで扱われるような、複数の型が混在する表データ
• 時系列のデータ(ソートされているもの、いないもの)
• 行列データ
• その他の観測データや統計データ

pandasの主要なデータ構造は、Series(1次元)とDataFrame(2次元)です。DataFrameは、Rで言うところのdata.frameに当たります。

pandasは、数値計算ライブラリNumPyの上に構築されていて、その他の科学計算系ライブラリと一緒に使うことを意図して開発されています。また高速に動作させる為、内部アルゴリズムはCythonやC言語で最適化・実装されています。

2.   前提としている環境

本記事では、下記を前提としています。

• Python : Ver.3.x
• pandas : Ver.0.21.0

3.   準備

慣習に習い、各種ライブラリを下記のようにインポートします。

1
2
3

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

4.   オブジェクトの生成[1]

1
2

s = pd.Series([1, 3, 5, np.nan, 6, 8])
s

0    1.0
1    3.0
2    5.0
3    NaN
4    6.0
5    8.0
dtype: float64

1
2

dates = pd.date_range('20170101', periods=6)
dates

DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03', '2017-01-04',
               '2017-01-05', '2017-01-06'],
              dtype='datetime64[ns]', freq='D')

1
2

df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
df

1
2
3
4
5
6
7

df2 = pd.DataFrame({ 'A' : 1.,
                     'B' : pd.Timestamp('20170102'),
                     'C' : pd.Series(1, index=list(range(4)), dtype='float32'),
                     'D' : np.array([3] * 4, dtype='int32'),
                     'E' : pd.Categorical(["test", "train", "test", "train"]),
                     'F' : 'foo' })
df2

1

df2.dtypes

A           float64
B    datetime64[ns]
C           float32
D             int32
E          category
F            object
dtype: object

2

df2.A

0    1.0
1    1.0
2    1.0
3    1.0
Name: A, dtype: float64

3

df2.B

0   2017-01-02
1   2017-01-02
2   2017-01-02
3   2017-01-02
Name: B, dtype: datetime64[ns]

4

df2.C

0    1.0
1    1.0
2    1.0
3    1.0
Name: C, dtype: float32

5

df2.D

0    3
1    3
2    3
3    3
Name: D, dtype: int32

6

df2.E

0     test
1    train
2     test
3    train
Name: E, dtype: category
Categories (2, object): [test, train]

7

df2.F

0    foo
1    foo
2    foo
3    foo
Name: F, dtype: object

5.   データの閲覧[2]

DataFrameの最初と最後を確認するには、headメソッドやtailメソッドを使います。

1

df

1

df.head()

1

df.tail(3)

1

df.index

DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03', '2017-01-04',
               '2017-01-05', '2017-01-06'],
              dtype='datetime64[ns]', freq='D')

1

df.columns

Index(['A', 'B', 'C', 'D'], dtype='object')

1

df.values

array([[ 0.4691, -0.2829, -1.5091, -1.1356],
       [ 1.2121, -0.1732,  0.1192, -1.0442],
       [-0.8618, -2.1046, -0.4949,  1.0718],
       [ 0.7216, -0.7068, -1.0396,  0.2719],
       [-0.425 ,  0.567 ,  0.2762, -1.0874],
       [-0.6737,  0.1136, -1.4784,  0.525 ]])

1

df.describe()

1

df

1

df.T

1

df.sort_index(axis=0, ascending=False)

1

df.sort_index(axis=1, ascending=False)

1

df.sort_values(by='B')

1

df.sort_values(by='C', ascending=False)

6.   選択処理

1

df

1

df['A']

2017-01-01    0.469112
2017-01-02    1.212112
2017-01-03   -0.861849
2017-01-04    0.721555
2017-01-05   -0.424972
2017-01-06   -0.673690
Freq: D, Name: A, dtype: float64

1

df[0:3]

1

df['20170102':'20170104']

1

df

1

dates

DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03', '2017-01-04',
               '2017-01-05', '2017-01-06'],
              dtype='datetime64[ns]', freq='D')

1

df.loc[dates[0]]

A    0.469112
B   -0.282863
C   -1.509059
D   -1.135632
Name: 2017-01-01 00:00:00, dtype: float64

1

df.loc[:, ['A','B']]

1

df.loc['20170102':'20170104', ['A','B']]

1

df.loc['20170102', ['A', 'B']]

A    1.212112
B   -0.173215
Name: 2017-01-02 00:00:00, dtype: float64

1

df.loc[dates[0], 'A']

0.46911229990718628

1

df.at[dates[0], 'A']

0.46911229990718628

1

df

1

df.iloc[3]

A    0.721555
B   -0.706771
C   -1.039575
D    0.271860
Name: 2017-01-04 00:00:00, dtype: float64

1

df.iloc[3:5, 0:2]

1

df.iloc[[1, 2, 4], [0, 2]]

1

df.iloc[1:3, :]

1

df.iloc[:, 1:3]

1

df.iloc[1, 1]

-0.17321464905330858

1

df.iat[1, 1]

-0.17321464905330858

1

df

1

df[df.A > 0]

1

df[df > 0]

1
2
3

df2 = df.copy()
df2['E'] = ['one', 'one', 'two', 'three', 'four', 'three']
df2

1

df2[df2['E'].isin(['two', 'four'])]

1

df

1

dates

DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03', '2017-01-04',
               '2017-01-05', '2017-01-06'],
              dtype='datetime64[ns]', freq='D')

1
2

s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20170102', periods=6))
s1

2017-01-02    1
2017-01-03    2
2017-01-04    3
2017-01-05    4
2017-01-06    5
2017-01-07    6
Freq: D, dtype: int64

1
2

df['F'] = s1
df

1
2

df.at[dates[0], 'A'] = 0
df

1
2

df.iat[0,1] = 0
df

1

np.array([5] * len(df))

array([5, 5, 5, 5, 5, 5])

1
2

df.loc[:, 'D'] = np.array([5] * len(df))
df

1
2
3

df2 = df.copy()
df2[df2 > 0] = -df2
df2

7.   不明値(欠測値)(NaN)[5]

pandasでは、不明値(欠測値)を表現するのに主にNumPyのNaN(np.nan)を使います。基本的にNaNは計算処理の対象外になります。

1

df

1

dates

DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03', '2017-01-04',
               '2017-01-05', '2017-01-06'],
              dtype='datetime64[ns]', freq='D')

1

df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])

1
2
3

df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])
df1.loc[dates[0]:dates[1], 'E'] = 1
df1

1

df1.dropna(how='any')

1

df1.fillna(value=5)

1

pd.isna(df1)

8.   演算処理[6]

1

df

1

dates

DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03', '2017-01-04',
               '2017-01-05', '2017-01-06'],
              dtype='datetime64[ns]', freq='D')

1

df.mean()

A   -0.004474
B   -0.383981
C   -0.687758
D    5.000000
F    3.000000
dtype: float64

1

df.mean(1)

2017-01-01    0.872735
2017-01-02    1.431621
2017-01-03    0.707731
2017-01-04    1.395042
2017-01-05    1.883656
2017-01-06    1.592306
Freq: D, dtype: float64

1

df.mean(axis=1)

2017-01-01    0.872735
2017-01-02    1.431621
2017-01-03    0.707731
2017-01-04    1.395042
2017-01-05    1.883656
2017-01-06    1.592306
Freq: D, dtype: float64

1
2

s = pd.Series([1,3,4,np.nan,6,8], index=dates).shift(2)
s

2017-01-01    NaN
2017-01-02    NaN
2017-01-03    1.0
2017-01-04    3.0
2017-01-05    4.0
2017-01-06    NaN
Freq: D, dtype: float64

1

pd.Series([1,3,4,np.nan,6,8], index=dates)

2017-01-01    1.0
2017-01-02    3.0
2017-01-03    4.0
2017-01-04    NaN
2017-01-05    6.0
2017-01-06    8.0
Freq: D, dtype: float64

1

df.sub(s, axis='index')

1

df

1

df.apply(np.cumsum)

1
2

s = pd.Series(np.random.randint(0, 7, size=10))
s

0    4
1    2
2    1
3    2
4    6
5    4
6    4
7    6
8    4
9    4
dtype: int64

1

s.value_counts()

4    5
6    2
2    2
1    1
dtype: int64

1
2

s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])
s

0       A
1       B
2       C
3    Aaba
4    Baca
5     NaN
6    CABA
7     dog
8     cat
dtype: object

1

s.str.lower()

0       a
1       b
2       c
3    aaba
4    baca
5     NaN
6    caba
7     dog
8     cat
dtype: object

9.   マージ

1
2

df = pd.DataFrame(np.random.randn(10, 4))
df

1
2

pieces = [df[:3], df[3:7], df[7:]]
pieces

[          0         1         2         3
 0 -0.548702  1.467327 -1.015962 -0.483075
 1  1.637550 -1.217659 -0.291519 -1.745505
 2 -0.263952  0.991460 -0.919069  0.266046,
           0         1         2         3
 3 -0.709661  1.669052  1.037882 -1.705775
 4 -0.919854 -0.042379  1.247642 -0.009920
 5  0.290213  0.495767  0.362949  1.548106
 6 -1.131345 -0.089329  0.337863 -0.945867,
           0         1         2         3
 7 -0.932132  1.956030  0.017587 -0.016692
 8 -0.575247  0.254161 -1.143704  0.215897
 9  1.193555 -0.077118 -0.408530 -0.862495]

1

pieces[0]

1

pieces[1]

1

pieces[2]

1

pd.concat(pieces)

1
2

left = pd.DataFrame({'key': ['foo', 'bar'], 'lval': [1, 2]})
left

1
2

right = pd.DataFrame({'key': ['foo', 'bar'], 'rval': [4, 5]})
right

1

pd.merge(left, right, on='key')

1
2

df = pd.DataFrame(np.random.randn(8, 4), columns=['A', 'B', 'C', 'D'])
df

1
2

s = df.iloc[3]
s

A    1.453749
B    1.208843
C   -0.080952
D   -0.264610
Name: 3, dtype: float64

1

df.append(s, ignore_index=True)

1

df.append(s, ignore_index=False)

10.   グルーピング(グループ化)[12]

pandasで言うところの「グルーピング(Group By)」とは、下記の一つ以上の手順を含む処理のことです。

• ある基準に従って、データをグループに分割すること
• 各グループに関数を個別に適用すること
• その結果を結合して1つのデータ構造にすること

例を示す為にまずは下記のようなDataFrameを用意します。

1
2
3
4
5
6
7

df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar',
                          'foo', 'bar', 'foo', 'foo'],
                   'B' : ['one', 'one', 'two', 'three',
                          'two', 'two', 'one', 'three'],
                   'C' : np.random.randn(8),
                   'D' : np.random.randn(8)})
df

カラム(列)「A」の値でデータをグルーピングし、その結果にGroupBy.sumメソッドを適用します。

1

df.groupby('A').sum()

複数のカラム(列)でグルーピングすると、関数を適用した時点でマルチインデックスになります。

1

df.groupby(['A', 'B']).sum()

11.   構成変更(リシェイプ)[13][14]

1
2
3
4
5

tuples = list(zip(*[['bar', 'bar', 'baz', 'baz',
                     'foo', 'foo', 'qux', 'qux'],
                    ['one', 'two', 'one', 'two',
                     'one', 'two', 'one', 'two']]))
tuples

[('bar', 'one'),
 ('bar', 'two'),
 ('baz', 'one'),
 ('baz', 'two'),
 ('foo', 'one'),
 ('foo', 'two'),
 ('qux', 'one'),
 ('qux', 'two')]

1
2

index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])
index

MultiIndex(levels=[['bar', 'baz', 'foo', 'qux'], ['one', 'two']],
           labels=[[0, 0, 1, 1, 2, 2, 3, 3], [0, 1, 0, 1, 0, 1, 0, 1]],
           names=['first', 'second'])

1
2

df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])
df

1
2

df2 = df[:4]
df2

1
2

stacked = df2.stack()
stacked

first  second
bar    one     A    0.029399
               B   -0.542108
       two     A    0.282696
               B   -0.087302
baz    one     A   -1.575170
               B    1.771208
       two     A    0.816482
               B    1.100230
dtype: float64

1

stacked.index

MultiIndex(levels=[['bar', 'baz', 'foo', 'qux'], ['one', 'two'], ['A', 'B']],
           labels=[[0, 0, 0, 0, 1, 1, 1, 1], [0, 0, 1, 1, 0, 0, 1, 1], [0, 1, 0, 1, 0, 1, 0, 1]],
           names=['first', 'second', None])

1

stacked.unstack()

1

stacked.unstack(1)

1

stacked.unstack(0)

1
2
3
4
5
6

df = pd.DataFrame({'A' : ['one', 'one', 'two', 'three'] * 3,
                   'B' : ['A', 'B', 'C'] * 4,
                   'C' : ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
                   'D' : np.random.randn(12),
                   'E' : np.random.randn(12)})
df

1

pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C'])

12.   日時の処理[16]

pandasには、シンプルで強力で且つ効率的な、時間の頻度変換の機能を備えています。時間の頻度変換とは例えば、1秒毎のデータを5分毎のデータにする、というような変換のことです。

例を示す為に、date_range関数を使って下記のようなDatetimeIndexを作ります。これは2017/1/1の0時0分0秒から1秒毎に100個(つまり99秒後まで)の要素を持ちます。

1
2

rng = pd.date_range('1/1/2017', periods=100, freq='S')
rng

DatetimeIndex(['2017-01-01 00:00:00', '2017-01-01 00:00:01',
               '2017-01-01 00:00:02', '2017-01-01 00:00:03',
               '2017-01-01 00:00:04', '2017-01-01 00:00:05',
               '2017-01-01 00:00:06', '2017-01-01 00:00:07',
               '2017-01-01 00:00:08', '2017-01-01 00:00:09',
               '2017-01-01 00:00:10', '2017-01-01 00:00:11',
               '2017-01-01 00:00:12', '2017-01-01 00:00:13',
               '2017-01-01 00:00:14', '2017-01-01 00:00:15',
               '2017-01-01 00:00:16', '2017-01-01 00:00:17',
               '2017-01-01 00:00:18', '2017-01-01 00:00:19',
               '2017-01-01 00:00:20', '2017-01-01 00:00:21',
               '2017-01-01 00:00:22', '2017-01-01 00:00:23',
               '2017-01-01 00:00:24', '2017-01-01 00:00:25',
               '2017-01-01 00:00:26', '2017-01-01 00:00:27',
               '2017-01-01 00:00:28', '2017-01-01 00:00:29',
               '2017-01-01 00:00:30', '2017-01-01 00:00:31',
               '2017-01-01 00:00:32', '2017-01-01 00:00:33',
               '2017-01-01 00:00:34', '2017-01-01 00:00:35',
               '2017-01-01 00:00:36', '2017-01-01 00:00:37',
               '2017-01-01 00:00:38', '2017-01-01 00:00:39',
               '2017-01-01 00:00:40', '2017-01-01 00:00:41',
               '2017-01-01 00:00:42', '2017-01-01 00:00:43',
               '2017-01-01 00:00:44', '2017-01-01 00:00:45',
               '2017-01-01 00:00:46', '2017-01-01 00:00:47',
               '2017-01-01 00:00:48', '2017-01-01 00:00:49',
               '2017-01-01 00:00:50', '2017-01-01 00:00:51',
               '2017-01-01 00:00:52', '2017-01-01 00:00:53',
               '2017-01-01 00:00:54', '2017-01-01 00:00:55',
               '2017-01-01 00:00:56', '2017-01-01 00:00:57',
               '2017-01-01 00:00:58', '2017-01-01 00:00:59',
               '2017-01-01 00:01:00', '2017-01-01 00:01:01',
               '2017-01-01 00:01:02', '2017-01-01 00:01:03',
               '2017-01-01 00:01:04', '2017-01-01 00:01:05',
               '2017-01-01 00:01:06', '2017-01-01 00:01:07',
               '2017-01-01 00:01:08', '2017-01-01 00:01:09',
               '2017-01-01 00:01:10', '2017-01-01 00:01:11',
               '2017-01-01 00:01:12', '2017-01-01 00:01:13',
               '2017-01-01 00:01:14', '2017-01-01 00:01:15',
               '2017-01-01 00:01:16', '2017-01-01 00:01:17',
               '2017-01-01 00:01:18', '2017-01-01 00:01:19',
               '2017-01-01 00:01:20', '2017-01-01 00:01:21',
               '2017-01-01 00:01:22', '2017-01-01 00:01:23',
               '2017-01-01 00:01:24', '2017-01-01 00:01:25',
               '2017-01-01 00:01:26', '2017-01-01 00:01:27',
               '2017-01-01 00:01:28', '2017-01-01 00:01:29',
               '2017-01-01 00:01:30', '2017-01-01 00:01:31',
               '2017-01-01 00:01:32', '2017-01-01 00:01:33',
               '2017-01-01 00:01:34', '2017-01-01 00:01:35',
               '2017-01-01 00:01:36', '2017-01-01 00:01:37',
               '2017-01-01 00:01:38', '2017-01-01 00:01:39'],
              dtype='datetime64[ns]', freq='S')

それをインデックスに持つSeriesを作ります。値は、0から500までのランダムな整数です。

1
2

ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
ts

2017-01-01 00:00:00    410
2017-01-01 00:00:01    166
2017-01-01 00:00:02    232
2017-01-01 00:00:03    256
2017-01-01 00:00:04    413
2017-01-01 00:00:05    410
2017-01-01 00:00:06    412
                      ...
2017-01-01 00:01:33    133
2017-01-01 00:01:34    366
2017-01-01 00:01:35    134
2017-01-01 00:01:36     77
2017-01-01 00:01:37    377
2017-01-01 00:01:38     86
2017-01-01 00:01:39    439
Freq: S, Length: 100, dtype: int64

Series.resampleメソッドで頻度を5分毎に変換します。(全部で1分39秒までしかないので、1行にまとまってしまいます)

1

ts.resample('5Min').sum()

2017-01-01    25083
Freq: 5T, dtype: int64

頻度を5秒毎に変換します。

1

ts.resample('5s').sum()

2017-01-01 00:00:00    1477
2017-01-01 00:00:05    1657
2017-01-01 00:00:10    1299
2017-01-01 00:00:15    1242
2017-01-01 00:00:20    1451
2017-01-01 00:00:25    1359
2017-01-01 00:00:30    1250
                       ...
2017-01-01 00:01:05    1334
2017-01-01 00:01:10    1093
2017-01-01 00:01:15    1297
2017-01-01 00:01:20    1308
2017-01-01 00:01:25    1407
2017-01-01 00:01:30     773
2017-01-01 00:01:35    1113
Freq: 5S, Length: 20, dtype: int64

頻度を30秒毎に変換します。

1

ts.resample('30s').sum()

2017-01-01 00:00:00    8485
2017-01-01 00:00:30    7098
2017-01-01 00:01:00    7614
2017-01-01 00:01:30    1886
Freq: 30S, dtype: int64

頻度を1日毎に変換します。1行にまとまってしまうところは5分毎に変換した場合と同じですが、「Freq」(頻度)の表記が「D」になっています。

1

ts.resample('1d').sum()

2017-01-01    25083
Freq: D, dtype: int64

タイムゾーンの扱い方の例を示す為に、date_range関数を使って下記のようなDatetimeIndexを作ります。

1
2

rng = pd.date_range('3/6/2017 00:00', periods=5, freq='D')
rng

DatetimeIndex(['2017-03-06', '2017-03-07', '2017-03-08', '2017-03-09',
               '2017-03-10'],
              dtype='datetime64[ns]', freq='D')

それをインデックスに持つSeriesを作ります。

1
2

ts = pd.Series(np.random.randn(len(rng)), rng)
ts

2017-03-06    0.464000
2017-03-07    0.227371
2017-03-08   -0.496922
2017-03-09    0.306389
2017-03-10   -2.290613
Freq: D, dtype: float64

タイムゾーンをUTC(協定世界時)に変換します。

1
2

ts_utc = ts.tz_localize('UTC')
ts_utc

2017-03-06 00:00:00+00:00    0.464000
2017-03-07 00:00:00+00:00    0.227371
2017-03-08 00:00:00+00:00   -0.496922
2017-03-09 00:00:00+00:00    0.306389
2017-03-10 00:00:00+00:00   -2.290613
Freq: D, dtype: float64

タイムゾーンをUS/Eastern(アメリカ東部標準時)に変更します。

1

ts_utc.tz_convert('US/Eastern')

2017-03-05 19:00:00-05:00    0.464000
2017-03-06 19:00:00-05:00    0.227371
2017-03-07 19:00:00-05:00   -0.496922
2017-03-08 19:00:00-05:00    0.306389
2017-03-09 19:00:00-05:00   -2.290613
Freq: D, dtype: float64

タイムゾーンを日本に変更します。

1

ts_utc.tz_convert('Japan')

2017-03-06 09:00:00+09:00    0.464000
2017-03-07 09:00:00+09:00    0.227371
2017-03-08 09:00:00+09:00   -0.496922
2017-03-09 09:00:00+09:00    0.306389
2017-03-10 09:00:00+09:00   -2.290613
Freq: D, dtype: float64

時刻と期間(time span)の変換の例を示す為に、date_range関数を使って下記のようなDatetimeIndexを作ります。

1
2

rng = pd.date_range('1/1/2017', periods=5, freq='M')
rng

DatetimeIndex(['2017-01-31', '2017-02-28', '2017-03-31', '2017-04-30',
               '2017-05-31'],
              dtype='datetime64[ns]', freq='M')

それをインデックスに持つSeriesを作ります。

1
2

ts = pd.Series(np.random.randn(len(rng)), index=rng)
ts

2017-01-31   -1.134623
2017-02-28   -1.561819
2017-03-31   -0.260838
2017-04-30    0.281957
2017-05-31    1.523962
Freq: M, dtype: float64

Series.to_periodメソッドで時刻を期間に変換します。

1
2

ps = ts.to_period()
ps

2017-01   -1.134623
2017-02   -1.561819
2017-03   -0.260838
2017-04    0.281957
2017-05    1.523962
Freq: M, dtype: float64

元のtsのインデックスはDatetimeIndexであるのに対し、

1

ts.index

DatetimeIndex(['2017-01-31', '2017-02-28', '2017-03-31', '2017-04-30',
               '2017-05-31'],
              dtype='datetime64[ns]', freq='M')

psのインデックスはPeriodIndexです。

1

ps.index

PeriodIndex(['2017-01', '2017-02', '2017-03', '2017-04', '2017-05'], dtype='period[M]', freq='M')

Series.to_timestampメソッドで期間から時刻に戻ります。

1

ps.to_timestamp()

2017-01-01   -1.134623
2017-02-01   -1.561819
2017-03-01   -0.260838
2017-04-01    0.281957
2017-05-01    1.523962
Freq: MS, dtype: float64

1

ps.to_timestamp().index

DatetimeIndex(['2017-01-01', '2017-02-01', '2017-03-01', '2017-04-01',
               '2017-05-01'],
              dtype='datetime64[ns]', freq='MS')

時刻と期間の変換の、もう少し複雑な例を見てみます。下記の例では、「11月を年度末とした時の四半期(Q)」(期間)から、「その四半期の直後の月始めの9時」(時刻)に変換しています。

まず、period_range関数で1990年の第1四半期(第1Q)から2000年の第4四半期(第4Q)までのPeriodIndexを作ります。

1
2

prng = pd.period_range('1990Q1', '2000Q4', freq='Q-NOV')
prng

PeriodIndex(['1990Q1', '1990Q2', '1990Q3', '1990Q4', '1991Q1', '1991Q2',
             '1991Q3', '1991Q4', '1992Q1', '1992Q2', '1992Q3', '1992Q4',
             '1993Q1', '1993Q2', '1993Q3', '1993Q4', '1994Q1', '1994Q2',
             '1994Q3', '1994Q4', '1995Q1', '1995Q2', '1995Q3', '1995Q4',
             '1996Q1', '1996Q2', '1996Q3', '1996Q4', '1997Q1', '1997Q2',
             '1997Q3', '1997Q4', '1998Q1', '1998Q2', '1998Q3', '1998Q4',
             '1999Q1', '1999Q2', '1999Q3', '1999Q4', '2000Q1', '2000Q2',
             '2000Q3', '2000Q4'],
            dtype='period[Q-NOV]', freq='Q-NOV')

それをインデックスに持つSeriesを作ります。

1
2

ts = pd.Series(np.random.randn(len(prng)), prng)
ts

1990Q1   -0.902937
1990Q2    0.068159
1990Q3   -0.057873
1990Q4   -0.368204
1991Q1   -1.144073
1991Q2    0.861209
1991Q3    0.800193
            ...
1999Q2   -0.928797
1999Q3   -0.308853
1999Q4   -0.681087
2000Q1    0.377953
2000Q2    0.493672
2000Q3   -2.461467
2000Q4   -1.553902
Freq: Q-NOV, Length: 44, dtype: float64

PeriodIndex.asfreqメソッドを組み合わせて、表示日時や頻度を変更します。(複雑なので、この後ひとつずつ分解して説明します)

1

(prng.asfreq('M', 'e') + 1).asfreq('H', 's') + 9

PeriodIndex(['1990-03-01 09:00', '1990-06-01 09:00', '1990-09-01 09:00',
             '1990-12-01 09:00', '1991-03-01 09:00', '1991-06-01 09:00',
             '1991-09-01 09:00', '1991-12-01 09:00', '1992-03-01 09:00',
             '1992-06-01 09:00', '1992-09-01 09:00', '1992-12-01 09:00',
             '1993-03-01 09:00', '1993-06-01 09:00', '1993-09-01 09:00',
             '1993-12-01 09:00', '1994-03-01 09:00', '1994-06-01 09:00',
             '1994-09-01 09:00', '1994-12-01 09:00', '1995-03-01 09:00',
             '1995-06-01 09:00', '1995-09-01 09:00', '1995-12-01 09:00',
             '1996-03-01 09:00', '1996-06-01 09:00', '1996-09-01 09:00',
             '1996-12-01 09:00', '1997-03-01 09:00', '1997-06-01 09:00',
             '1997-09-01 09:00', '1997-12-01 09:00', '1998-03-01 09:00',
             '1998-06-01 09:00', '1998-09-01 09:00', '1998-12-01 09:00',
             '1999-03-01 09:00', '1999-06-01 09:00', '1999-09-01 09:00',
             '1999-12-01 09:00', '2000-03-01 09:00', '2000-06-01 09:00',
             '2000-09-01 09:00', '2000-12-01 09:00'],
            dtype='period[H]', freq='H')

まずPeriodIndex.asfreqメソッドで、頻度を月毎に、四半期(Q)の終了月に揃えます。

1

prng.asfreq('M', 'e')

PeriodIndex(['1990-02', '1990-05', '1990-08', '1990-11', '1991-02', '1991-05',
             '1991-08', '1991-11', '1992-02', '1992-05', '1992-08', '1992-11',
             '1993-02', '1993-05', '1993-08', '1993-11', '1994-02', '1994-05',
             '1994-08', '1994-11', '1995-02', '1995-05', '1995-08', '1995-11',
             '1996-02', '1996-05', '1996-08', '1996-11', '1997-02', '1997-05',
             '1997-08', '1997-11', '1998-02', '1998-05', '1998-08', '1998-11',
             '1999-02', '1999-05', '1999-08', '1999-11', '2000-02', '2000-05',
             '2000-08', '2000-11'],
            dtype='period[M]', freq='M')

そこに1を足すことで、月をひと月進めます。

1

prng.asfreq('M', 'e') + 1

PeriodIndex(['1990-03', '1990-06', '1990-09', '1990-12', '1991-03', '1991-06',
             '1991-09', '1991-12', '1992-03', '1992-06', '1992-09', '1992-12',
             '1993-03', '1993-06', '1993-09', '1993-12', '1994-03', '1994-06',
             '1994-09', '1994-12', '1995-03', '1995-06', '1995-09', '1995-12',
             '1996-03', '1996-06', '1996-09', '1996-12', '1997-03', '1997-06',
             '1997-09', '1997-12', '1998-03', '1998-06', '1998-09', '1998-12',
             '1999-03', '1999-06', '1999-09', '1999-12', '2000-03', '2000-06',
             '2000-09', '2000-12'],
            dtype='period[M]', freq='M')

更にPeriodIndex.asfreqメソッドで、頻度を時間毎にして、1日の0時に揃えます。

1

(prng.asfreq('M', 'e') + 1).asfreq('H', 's')

PeriodIndex(['1990-03-01 00:00', '1990-06-01 00:00', '1990-09-01 00:00',
             '1990-12-01 00:00', '1991-03-01 00:00', '1991-06-01 00:00',
             '1991-09-01 00:00', '1991-12-01 00:00', '1992-03-01 00:00',
             '1992-06-01 00:00', '1992-09-01 00:00', '1992-12-01 00:00',
             '1993-03-01 00:00', '1993-06-01 00:00', '1993-09-01 00:00',
             '1993-12-01 00:00', '1994-03-01 00:00', '1994-06-01 00:00',
             '1994-09-01 00:00', '1994-12-01 00:00', '1995-03-01 00:00',
             '1995-06-01 00:00', '1995-09-01 00:00', '1995-12-01 00:00',
             '1996-03-01 00:00', '1996-06-01 00:00', '1996-09-01 00:00',
             '1996-12-01 00:00', '1997-03-01 00:00', '1997-06-01 00:00',
             '1997-09-01 00:00', '1997-12-01 00:00', '1998-03-01 00:00',
             '1998-06-01 00:00', '1998-09-01 00:00', '1998-12-01 00:00',
             '1999-03-01 00:00', '1999-06-01 00:00', '1999-09-01 00:00',
             '1999-12-01 00:00', '2000-03-01 00:00', '2000-06-01 00:00',
             '2000-09-01 00:00', '2000-12-01 00:00'],
            dtype='period[H]', freq='H')

最後に9を足して、時間を9時に揃えます。

1

(prng.asfreq('M', 'e') + 1).asfreq('H', 's') + 9

PeriodIndex(['1990-03-01 09:00', '1990-06-01 09:00', '1990-09-01 09:00',
             '1990-12-01 09:00', '1991-03-01 09:00', '1991-06-01 09:00',
             '1991-09-01 09:00', '1991-12-01 09:00', '1992-03-01 09:00',
             '1992-06-01 09:00', '1992-09-01 09:00', '1992-12-01 09:00',
             '1993-03-01 09:00', '1993-06-01 09:00', '1993-09-01 09:00',
             '1993-12-01 09:00', '1994-03-01 09:00', '1994-06-01 09:00',
             '1994-09-01 09:00', '1994-12-01 09:00', '1995-03-01 09:00',
             '1995-06-01 09:00', '1995-09-01 09:00', '1995-12-01 09:00',
             '1996-03-01 09:00', '1996-06-01 09:00', '1996-09-01 09:00',
             '1996-12-01 09:00', '1997-03-01 09:00', '1997-06-01 09:00',
             '1997-09-01 09:00', '1997-12-01 09:00', '1998-03-01 09:00',
             '1998-06-01 09:00', '1998-09-01 09:00', '1998-12-01 09:00',
             '1999-03-01 09:00', '1999-06-01 09:00', '1999-09-01 09:00',
             '1999-12-01 09:00', '2000-03-01 09:00', '2000-06-01 09:00',
             '2000-09-01 09:00', '2000-12-01 09:00'],
            dtype='period[H]', freq='H')

これをtsのインデックスにセットすると、こうなります。

1
2

ts.index = (prng.asfreq('M', 'e') + 1).asfreq('H', 's') + 9
ts.head()

1990-03-01 09:00   -0.902937
1990-06-01 09:00    0.068159
1990-09-01 09:00   -0.057873
1990-12-01 09:00   -0.368204
1991-03-01 09:00   -1.144073
Freq: H, dtype: float64

13.   カテゴリ型[17]

pandasでは、DataFrameにカテゴリ型のデータを含めることができます。

例を示す為にまずは下記のようなDataFrameを用意します。AからEの成績データを、そのまま文字列で表現しています。

1
2

df = pd.DataFrame({'id':[1,2,3,4,5,6], 'raw_grade':['a', 'b', 'b', 'a', 'a', 'e']})
df

「raw_grade」カラム(列)の成績をSeries.astypeメソッドでカテゴリ型に変換して、「grade」カラム(列)に格納します。[24]dtypeが「category」になっていることが分かります。

1
2

df['grade'] = df['raw_grade'].astype('category')
df['grade']

0    a
1    b
2    b
3    a
4    a
5    e
Name: grade, dtype: category
Categories (3, object): [a, b, e]

DataFrame全体を確認します。

1

df

Series.cat.categoriesプロパティでカテゴリの値を取得したり、セットしたりできます。

1

df['grade'].cat.categories

Index(['a', 'b', 'e'], dtype='object')

ここでは、それぞれA、B、Eをもっと分かり易く「very good」「good」「very bad」に変更します。

1
2

df['grade'].cat.categories = ['very good', 'good', 'very bad']
df['grade'].cat.categories

Index(['very good', 'good', 'very bad'], dtype='object')

「grade」カラム(列)を確認します。

1

df['grade']

0    very good
1         good
2         good
3    very good
4    very good
5     very bad
Name: grade, dtype: category
Categories (3, object): [very good, good, very bad]

Series.cat.set_categoriesメソッドを使えば、そのSeriesに存在しない値も含めてカテゴリを再設定できます。

1

df['grade'].cat.set_categories(['very bad', 'bad', 'medium', 'good', 'very good'])

0    very good
1         good
2         good
3    very good
4    very good
5     very bad
Name: grade, dtype: category
Categories (5, object): [very bad, bad, medium, good, very good]

Series.cat.set_categoriesは、初期設定では新しいSeriesを返すので、「grade」カラム(列)を置き換える場合は、例えば下記のように代入し直します。

1
2

df['grade'] = df['grade'].cat.set_categories(['very bad', 'bad', 'medium', 'good', 'very good'])
df['grade']

0    very good
1         good
2         good
3    very good
4    very good
5     very bad
Name: grade, dtype: category
Categories (5, object): [very bad, bad, medium, good, very good]

この時点のDataFrameを確認します。

1

df

カテゴリ型データをDataFrame.sort_valuesメソッドで並び替えると、文字の順序ではなく、カテゴリの順序で並び替えられます。

1

df.sort_values(by='grade')

DataFrame.groupbyでグループ化した場合は、空のグループも表示してくれます。

1

df.groupby('grade').size()

grade
very bad     1
bad          0
medium       0
good         2
very good    3
dtype: int64

Series.value_countsでも、0個の要素を表示してくれます。

1

df['grade'].value_counts()

very good    3
good         2
very bad     1
medium       0
bad          0
Name: grade, dtype: int64

14.   プロット[18]

データをグラフとしてプロットするには、Series.plotメソッドやDataFrame.plotメソッドを使います。

例を示す為に、2000/1/1から1000日分のインデックスとランダムな値を持ったSeriesを作ります。

1
2

ts = pd.Series(np.random.randn(1000), index=pd.date_range('1/1/2000', periods=1000))
ts

2000-01-01    2.015523
2000-01-02   -1.833722
2000-01-03    1.771740
2000-01-04   -0.670027
2000-01-05    0.049307
2000-01-06   -0.521493
2000-01-07   -3.201750
                ...
2002-09-20   -1.187785
2002-09-21   -0.183798
2002-09-22   -1.211230
2002-09-23   -0.856833
2002-09-24   -0.600575
2002-09-25    0.361428
2002-09-26    0.887304
Freq: D, Length: 1000, dtype: float64

Series.cumsumメソッドで累積和を計算して、置き換えます。

1
2

ts = ts.cumsum()
ts

2000-01-01     2.015523
2000-01-02     0.181801
2000-01-03     1.953541
2000-01-04     1.283514
2000-01-05     1.332821
2000-01-06     0.811328
2000-01-07    -2.390423
                ...
2002-09-20   -12.233834
2002-09-21   -12.417632
2002-09-22   -13.628862
2002-09-23   -14.485695
2002-09-24   -15.086270
2002-09-25   -14.724842
2002-09-26   -13.837538
Freq: D, Length: 1000, dtype: float64

Series.plotメソッドでグラフを描画します。グラフ描画にはmatplotlibが使用されます。グラフがどこに表示されるかは、環境・設定によります。

1

ts.plot()

<matplotlib.axes._subplots.AxesSubplot at 0x10dea2048>

DataFrameの場合の例も示します。例を示す為に、先ほどのSeriesをインデックスに持ち、A、B、C、Dの4つのカラム(列)を持ったDataFrameを作成します。

1
2

df = pd.DataFrame(np.random.randn(1000, 4), index=ts.index, columns=['A', 'B', 'C', 'D'])
df

DataFrame.cumsumメソッドで累積和を計算して、置き換えます。

1
2

df = df.cumsum()
df

matplotlib.pyplot.figureメソッドで、新規Figureオブジェクトを作成し(matplotlibの使い方の詳細はここでは割愛します)、DataFrame.plotメソッドでグラフを描画します。

また、matplotlib.pyplot.legendメソッドで、凡例を表示することを明示的に支持しています。

1
2
3

plt.figure()
df.plot()
plt.legend(loc='best')

<matplotlib.legend.Legend at 0x110c36278>

<matplotlib.figure.Figure at 0x110c9cf60>

Figureの作成や凡例表示の指示は、省略可能です。

1

df.plot()

<matplotlib.axes._subplots.AxesSubplot at 0x110e97a58>

15.   データ入出力

各種形式のデータからDataFrameを生成したり、DataFrameから各種形式のデータを作成する方法について紹介します。

1

df

1

df.to_csv('foo.csv')

1

pd.read_csv('foo.csv')

1

df

1

df.to_hdf('foo.h5', 'df')

1

pd.read_hdf('foo.h5', 'df')

1

df