- 追加された行はこの色です。
- 削除された行はこの色です。
#author("2021-11-08T12:03:30+09:00;2021-08-26T16:52:52+09:00","default:inoue.ko","inoue.ko")
#author("2021-11-09T12:38:11+09:00;2021-08-26T16:52:52+09:00","default:inoue.ko","inoue.ko")
*Pandas
https://pandas.pydata.org/
~
Pandas は、データの読込、集計、並べ替え、欠損値の補完などを行うことができるデータ解析の定番ライブラリで、.csv、.xlsx 他、多様な形式のデータを読み込みに対応しています。大量のデータの読み込みに対応しており、表計算ソフトよりも高速で処理を行うことができます。
Pandas の特徴は ''DataFrame'' にあります。DataFrame にはデータの平均値や行数などの情報把握、並替え、列名変更といったデータ整形機能があります。
~
***CONTENTS
#contents2_1
~
~
**準備
***インストール
**はじめに
***チートシート
以下、公式のチートシートで全体像を把握できます。
https://pandas.pydata.org/Pandas_Cheat_Sheet.pdf
~
***Google Colab. で利用する場合
Pandasはインストール済みです。impot 文で呼び出すだけで使えます。
import pandas as pd
~
***ローカルPCへインストールする場合
[[Python]] 言語のライブラリとしてのインストールになるので、一般の Python3 の環境であれば、Terminalから以下のコマンドでインストールできます。
$ pip3 install pandas
$ pip3 list ← 念のため一覧表示
~
***pandasを使った処理の冒頭部分の事例
# 必要なライブラリのインポート
import numpy as np
import pandas as pd
from pandas import DataFrame
import matplotlib.pyplot as plt
~
~
**DataFrame
***pandas による DataFrame の定義
一般に、データフレームは CSV や Excel 等のデータを読み込んで生成するものですが（後述）、ここではデータフレームの構造を理解する意味で、直接的なデータの定義方法について紹介します。
pd.DataFrame( data, index, columns, dtype, copy)
DataFrame は ''data''、''index''、''columns'' の３つの要素から構成されます。
-data：表内の個々のデータ値（行列データ）
-index：行ラベル（指定されない場合は 0, 1, 2,・・・）
-columns：列ラベル（指定されない場合は 0, 1, 2,・・・）
以下、DataFrame を扱う変数として ''df'' を使って事例を紹介します。
&small(df は DataFrame の略として一般によく用いられる変数名です。);
~
***定義例１
df = pd.DataFrame( [ [ '佐藤', 170, 60 ] , ['田中', 160, 50 ] , [ '鈴木', 165, 58 ] ] )
df
0 1 2
0 佐藤 170 60
1 田中 160 50
2 鈴木 165 58
行ラベル、列ラベル（index と columns ) には、自動的に番号数字が入ります。
~
***定義例２
df = pd.DataFrame(
data =[ [ '佐藤', 170, 60 ] , ['田中', 160, 50 ] , [ '鈴木', 165, 58 ] ] ,
index = ['S01', 'S02', 'S03'],
columns =[ 'name' , 'height', 'weight']
)
df
name height weight
S01 佐藤 170 60
S02 田中 160 50
S03 鈴木 165 58
~
***定義例３：2次元配列を使って定義する事例
df = pd.DataFrame(
data = np.array( [ [10, 20, 30, 40], [11, 21, 31, 41], [12, 22, 32, 42] ] ),
index = [ 'row_1', 'row_2', 'row_3' ] ,
columns = [ 'col_1', 'col_2', 'col_3', 'col_4' ]
)
df
col_1 col_2 col_3 col_4
row_1 10 20 30 40
row_2 11 21 31 41
row_3 12 22 32 42
~
***定義例４
0から11までの数値を 3行・4列にあてはめて定義する事例
df = pd.DataFrame(
data = np.arange(12).reshape(3, 4),
index = [ 'row_1', 'row_2', 'row_3' ],
columns = [ 'col_1', 'col_2', 'col_3', 'col_4' ]
)
df
col_1 col_2 col_3 col_4
row_1 0 1 2 3
row_2 4 5 6 7
row_3 8 9 10 11
~
~
**基本的なメソッド
***データの読込
-CSV形式のデータの読込：read_csv()
# iris.csv の読み込み
df = pd.read_csv("/path/to/iris.csv")
-Excelファイルの読込：read_excel()
[[GoogleColaboratory]] で GoogleDriveにあるExcelファイルを読む事例
df = pd.read_excel('/content/drive/My Drive/path/to/sample.xlsx')
-JSON文字列の読込：read_json()
~
***データの情報把握
-データ全体の表示：DataFrame
df
-データの基本情報
--データの特徴表示：DataFrame.info( )
--データの一部を表示：DataFrame.head( )、DataFrame.tail( )
--データの形状を表示：DataFrame.shape
--行数を取得：DataFrame.index.values
--列名を取得：DataFrame.columns.values
--それぞれの列の型を取得：DataFrame.dtypes
-''要約統計量の表示''：DataFrame.describe( )
df.describe( )
データ件数、平均、標準偏差、最大・最小等の統計量が一括表示されます。
-''相関行列の表示''：DataFrame.corr( )
df.corr( )
数値項目間の相関が、カラム数 x カラム数 のマトリックスで表示されます。
~
***行・列数の最大値
DataFrame.set_option( )
処理の実行後の表示では、行・列数が制限されていて、データ数が多い場合は、中途が・・・と省略表示になります。これを回避するためのメソッド。
-最大表示行数の指定（ここでは50行を指定 ）
pd.set_option( 'display.max_rows', 50 )
~
***行・列名の変更
DataFrame.rename( )
rename メソッドの引数 index および columns に、{ 元の値 : 新しい値 } のかたちで（辞書型の定義）で元の値と新しい値を指定します。デフォルトでは削除後の状態を返すだけで、元の DataFrame そのものを破壊・更新するわけではありません。引数 inplace = True にすると、元の DataFrame が変更されます。
-行名の変更
df2 = df.rename( index={ 'row_1': 'ONE' } ) # 元の df は破壊されません。
df.rename( index={ 'row_1': 'ONE'} , inplace=True ) # df自体が更新されます。
-列名の変更
df2 = df.rename( columns = { 'col_1' : 'A' } )
-複数まとめて指示する場合は、カンマで区切って列挙します。
df2 = df.rename( index = { 'row_1' : 'ONE' } , columns = { 'col_1' : 'A' } )
-index がデフォルトの場合は、' ' を使わず、数字を指定します。
df2 = df.rename( index = { 1 : 'ONE' } , columns = { 'col_1' : 'A' } )
~
***行・列の削除
DataFrame.drop( )
dropメソッドは、デフォルトでは削除後の状態を返すだけで、元のデータフレームそのものを破壊・更新するわけではありません。引数 inplace = True にすると、元の DataFrame が変更されます。
-特定行の削除の事例
df2 = df.drop( index='row_2' ) #元の df は破壊されません。
df.drop( index='row_2', inplace=True ) #df 自体が更新されます。
-複数行の削除（リストで指定）の事例
df2 = df.drop( index = [ 'row_1' , 'row_3' ] )
-特定列の削除の事例
df2 = df.drop( columns = 'col_2' )
-複数列の削除（リストで指定）の事例
df2 = df.drop( columns=[ 'col_1' , 'col_3' ] )
-行列まとめて削除指定する場合は、カンマで区切って列挙します。
df2 = df.drop( index='row_3' , columns='col_2' )
~
***欠損値に関する処理
DataFrame.isnull( ) , DataFrame.dropna( ) , DataFrame.fillna( )
実際のデータには、無回答や入力ミスなどで欠損値が発生することがあります。pandas では NaN（Not a Number：非数） と表記され部分が欠損値ですが、これは後の演算等でエラーを発生させる原因となるので、それを含む部分は除去することが必要です（データクレンジング）。
-欠損値の確認：DataFrame.isnull( ).sum( )
df.isnull( ).sum( )
-欠損値のある行を削除：DataFrame.dropna( )
df = df.dropna( how='any' )
&small(※ how ='any' は欠損がひとつでもあれば、その行を削除);
-欠損値に値を埋める：DataFrame.fillna( )
~
***データの並べ替え
-値による並べ替え：DataFrame.sort_values( )
# col_2 の降順に並べ替え
df.sort_values( 'col_2', ascending=False )
-インデックスによる並べ替え：DataFrame.sort_index( )
~
***データの抽出
DataFrame[ ]、DataFrame.iloc[ ]、DataFrame.loc[ ]
以下、いずれも抽出後の DataFrame を返しますが、元のデータフレームそのものが更新されることはありません（非破壊操作）。
-行の抽出
先頭から 3 行目までを抽出
df[ :3 ] # 0, 1, 2 行目が抽出されます
特定区間を抽出
df[ 3:5 ] # 3, 4 行目が抽出されます
-列の抽出
col_1 列の抽出
df[ 'col_1 ' ] または df.col_1
複数列の抽出
df[ [ 'col_2 ' , 'col_3 ' ] ]
-行・列の番号を利用した抽出（ iloc属性の利用 ）
1行目・１列目のデータを抽出
df.iloc[ 1 , 1 ]
すべての行の 5列目 を抽出（「 : 」 は「すべて取り出す」の意味）
df.iloc[ : , 5 ]
-index・columns名を利用した抽出（ loc属性の利用 ）
row_1行の col_2 のデータを抽出
df.loc[ 'row_1' , 'col_2' ]
すべての行の col_2 を抽出（「 : 」 は「すべて取り出す」の意味）
df.loc[ : , 'col_2' ]
~
***query メソッドによるデータの抽出
DataFrame.query( )
以下、いずれも抽出後の DataFrame を返しますが、元のデータフレームそのものが更新されることはありません（非破壊操作）。
-height列の値が 170以下である行を抽出
df.query( 'height <= 170' )
-A列の値が B列の値より大きい行を抽出
df.query( 'A > B' )
-name列の値が文字列 "鈴木" である行を抽出
df.query( ' name == "鈴木" ' )
-芸術学部で GPA が 2.0 以上を抽出
df.query( ' 学部 == "芸術" and GPA >= 2.0 ' )
-参考：条件式に使える記号
等 号：==
否 定：!=
不等号：< , > , <= , >=
論理積：and , &
論理和：or , |
~
***カウント・合計・平均・中央値・分散
DataFrame.value_counts( ) , DataFrame.sum( ) ,
DataFrame.mean( ), DataFrame.median( ) , DataFrame.var( )
-値ごとの数をカウント
df[ '学部' ].value_counts( ) # 全データ中の各学部の人数をカウント
-列の合計・平均・分散
df[ 'col_1' ].sum( ) # col_1列の合計
df[ 'col_1' ].mean( ) # col_1列の平均
df[ 'col_1' ].median( ) # col_1列の中央値
df[ 'col_1' ].var( ) # col_1列の分散
~
***GroupByオブジェクトの利用
DataFrame.groupby( )
特定の列データの値を基準にグルーピングした上で、グループごとの統計処理を行うことができます。例えば、全学生の成績一覧がある場合に、学部ごとの成績の平均を求める・・といったことが可能です。
-グループごとの統計
df.groupby( '学部' ).sum( )
df.groupby( '学部' ).mean( )
df.groupby( '学部' ).var( )
-グループを複合して統計
df.groupby( [ '学部' ,'性別' ] ).mean( ) # 各学部 X 性別ごとの平均
~
***クロス集計
pandas.crosstab( )
２項目のカテゴリの組み合わせでサンプル数の算出ができます。
第一引数が index（行見出し）、第二引数が columns（列見出し）となる DataFrame が返されます。
-単純クロス集計
pd.crosstab( df[ 'col_1' ] , df[ 'col_2' ] )
-正規化
pd.crosstab( df[ 'col_1' ] , df[ 'col_2' ] , normalize='index' )
~
***ピボットテーブル
pandas.pivot_table( index = 'XX', columns = 'XX', values = 'Fare' )
pandas.pivot_table( index = , columns = , values = , aggfunc = )
２項目のカテゴリの組み合わせで、データの統計量（平均、合計、最大、最小、標準偏差など）を確認・分析できます。
-index：元データの列名を指定。結果の行見出しになります。
-columns：元データの列名を指定。結果の列見出しになります。
https://pandas.pydata.org/docs/reference/api/pandas.pivot_table.html
-各パラメータの意味
--index：元データの列名を指定。結果の行見出しになります。
--columns：元データの列名を指定。結果の列見出しになります。
--values：統計量の対象となる項目
--aggfunc：求める統計量（ デフォルトは 平均 mean ）
//-平均の表示
// pandas.pivot_table( df, index = '学部' , column = '性別' , values='Fare' )
//デフォルトでは、平均値が表示されます。
-ピボットテーブルを使った平均値の表示例
pivot_table = pd.pivot_table( df, index='学部', columns='性別' , values='成績' , aggfunc='mean' )
学部 x 性別 ごとの成績の平均値が表示されます。
// https://pandas.pydata.org/docs/reference/api/pandas.pivot_table.html
~
~
**データの可視化
以下、Matplotlib の import が必要です。＞ [[DataVisualization]]
import matplotlib.pyplot as plt
~
***ヒストグラム：DataFrame.hist( )
-すべての数値項目について一括表示
df.hist( )
-生成される画像のサイズを 9インチ x 6インチに指定する場合
df.hist( figsize = ( 9, 6 ) )
-50件分表示の場合
df[:50].hist( figsize = ( 9, 6 ) )
~
***汎用グラフ：DataFrame.plot( ) &small(引数kindでグラフの種類を指定できます。);
-line : 折れ線グラフ（line plot）
df.plot( kind='line' )
-bar : 垂直棒グラフ（vertical bar plot）
-barh : 水平棒グラフ（horizontal bar plot）
-box : 箱ひげ図（boxplot）
-hist : ヒストグラム（histogram）
-kde, density : カーネル密度推定（Kernel Density Estimation plot ）
-area : 面グラフ（area plot）
-scatter : 散布図（scatter plot）
df.plot(kind='scatter', x='item01', y='item02', alpha=0.5, figsize=(9, 6) )
-hexbin : hexbin plot
-pie : 円グラフ（pie plot）
~
//***棒グラフ：DataFrame.bar( )
***散布図：DataFrame.plot.scatter( )
df.plot.scatter( x='item1', y='item2' )
~
***箱ひげ図：DataFrame.boxplot( )
df.boxplot( column="item-x", by="item-y" )
~
~
**活用サンプル
以下に、Pandas によるデータ読み込みのサンプルを掲載しています。
ipynb（JupyterNotebook）形式で、GitHubに置いていますが、レンダリングがタイムアウトする場合は、下の nbviewer 経由でご覧下さい。
-GitHub：[[ReadDataSample.ipynb>https://github.com/koichi-inoue/JupyterNotebook/blob/master/ReadDataSample.ipynb]]
-nbviewer：[[ReadDataSample.ipynb>https://nbviewer.jupyter.org/github/koichi-inoue/JupyterNotebook/blob/master/ReadDataSample.ipynb]]
~
~
**参考：ライブラリのサンプルデータを読む事例
# サンプルデータセットを取得
from sklearn import datasets
boston = datasets.load_boston( )
# 読み込んだデータを Pandas の DataFrame型に変換
df = DataFrame( boston.data , columns = boston.feature_names )
# 目的変数をDataFrameへ追加
df[ 'MEDV' ] = np.array( boston.target )
~
~
