#author("2021-11-08T12:03:30+09:00;2021-08-26T16:52:52+09:00","default:inoue.ko","inoue.ko") *Pandas https://pandas.pydata.org/ ~ Pandas は、データの読込、集計、並べ替え、欠損値の補完などを行うことができるデータ解析の定番ライブラリで、.csv、.xlsx 他、多様な形式のデータを読み込みに対応しています。大量のデータの読み込みに対応しており、表計算ソフトよりも高速で処理を行うことができます。 Pandas の特徴は ''DataFrame'' にあります。DataFrame にはデータの平均値や行数などの情報把握、並替え、列名変更といったデータ整形機能があります。 ~ ***CONTENTS #contents2_1 ~ ~ **準備 ***インストール [[Python]] 言語のライブラリとしてのインストールになるので、一般の Python3 の環境であれば、Terminalから以下のコマンドでインストールできます。 $ pip3 install pandas $ pip3 list ← 念のため一覧表示 ~ ***pandasを使った処理の冒頭部分の事例 # 必要なライブラリのインポート import numpy as np import pandas as pd from pandas import DataFrame import matplotlib.pyplot as plt ~ ~ **DataFrame ***pandas による DataFrame の定義 一般に、データフレームは CSV や Excel 等のデータを読み込んで生成するものですが(後述)、ここではデータフレームの構造を理解する意味で、直接的なデータの定義方法について紹介します。 pd.DataFrame( data, index, columns, dtype, copy) DataFrame は ''data''、''index''、''columns'' の3つの要素から構成されます。 -data:表内の個々のデータ値(行列データ) -index:行ラベル(指定されない場合は 0, 1, 2,・・・) -columns:列ラベル(指定されない場合は 0, 1, 2,・・・) 以下、DataFrame を扱う変数として ''df'' を使って事例を紹介します。 &small(df は DataFrame の略として一般によく用いられる変数名です。); ~ ***定義例1 df = pd.DataFrame( [ [ '佐藤', 170, 60 ] , ['田中', 160, 50 ] , [ '鈴木', 165, 58 ] ] ) df 0 1 2 0 佐藤 170 60 1 田中 160 50 2 鈴木 165 58 行ラベル、列ラベル(index と columns ) には、自動的に番号数字が入ります。 ~ ***定義例2 df = pd.DataFrame( data =[ [ '佐藤', 170, 60 ] , ['田中', 160, 50 ] , [ '鈴木', 165, 58 ] ] , index = ['S01', 'S02', 'S03'], columns =[ 'name' , 'height', 'weight'] ) df name height weight S01 佐藤 170 60 S02 田中 160 50 S03 鈴木 165 58 ~ ***定義例3:2次元配列を使って定義する事例 df = pd.DataFrame( data = np.array( [ [10, 20, 30, 40], [11, 21, 31, 41], [12, 22, 32, 42] ] ), index = [ 'row_1', 'row_2', 'row_3' ] , columns = [ 'col_1', 'col_2', 'col_3', 'col_4' ] ) df col_1 col_2 col_3 col_4 row_1 10 20 30 40 row_2 11 21 31 41 row_3 12 22 32 42 ~ ***定義例4 0から11までの数値を 3行・4列にあてはめて定義する事例 df = pd.DataFrame( data = np.arange(12).reshape(3, 4), index = [ 'row_1', 'row_2', 'row_3' ], columns = [ 'col_1', 'col_2', 'col_3', 'col_4' ] ) df col_1 col_2 col_3 col_4 row_1 0 1 2 3 row_2 4 5 6 7 row_3 8 9 10 11 ~ ~ **基本的なメソッド ***データの読込 -CSV形式のデータの読込:read_csv() # iris.csv の読み込み df = pd.read_csv("/path/to/iris.csv") -Excelファイルの読込:read_excel() [[GoogleColaboratory]] で GoogleDriveにあるExcelファイルを読む事例 df = pd.read_excel('/content/drive/My Drive/path/to/sample.xlsx') -JSON文字列の読込:read_json() ~ ***データの情報把握 -データ全体の表示:DataFrame df -データの基本情報 --データの特徴表示:DataFrame.info( ) --データの一部を表示:DataFrame.head( )、DataFrame.tail( ) --データの形状を表示:DataFrame.shape --行数を取得:DataFrame.index.values --列名を取得:DataFrame.columns.values --それぞれの列の型を取得:DataFrame.dtypes -''要約統計量の表示'':DataFrame.describe( ) df.describe( ) データ件数、平均、標準偏差、最大・最小等の統計量が一括表示されます。 -''相関行列の表示'':DataFrame.corr( ) df.corr( ) 数値項目間の相関が、カラム数 x カラム数 のマトリックスで表示されます。 ~ ***行・列数の最大値 DataFrame.set_option( ) 処理の実行後の表示では、行・列数が制限されていて、データ数が多い場合は、中途が・・・と省略表示になります。これを回避するためのメソッド。 -最大表示行数の指定(ここでは50行を指定 ) pd.set_option( 'display.max_rows', 50 ) ~ ***行・列名の変更 DataFrame.rename( ) rename メソッドの引数 index および columns に、{ 元の値 : 新しい値 } のかたちで(辞書型の定義)で元の値と新しい値を指定します。デフォルトでは削除後の状態を返すだけで、元の DataFrame そのものを破壊・更新するわけではありません。引数 inplace = True にすると、元の DataFrame が変更されます。 -行名の変更 df2 = df.rename( index={ 'row_1': 'ONE' } ) # 元の df は破壊されません。 df.rename( index={ 'row_1': 'ONE'} , inplace=True ) # df自体が更新されます。 -列名の変更 df2 = df.rename( columns = { 'col_1' : 'A' } ) -複数まとめて指示する場合は、カンマで区切って列挙します。 df2 = df.rename( index = { 'row_1' : 'ONE' } , columns = { 'col_1' : 'A' } ) -index がデフォルトの場合は、' ' を使わず、数字を指定します。 df2 = df.rename( index = { 1 : 'ONE' } , columns = { 'col_1' : 'A' } ) ~ ***行・列の削除 DataFrame.drop( ) dropメソッドは、デフォルトでは削除後の状態を返すだけで、元のデータフレームそのものを破壊・更新するわけではありません。引数 inplace = True にすると、元の DataFrame が変更されます。 -特定行の削除の事例 df2 = df.drop( index='row_2' ) #元の df は破壊されません。 df.drop( index='row_2', inplace=True ) #df 自体が更新されます。 -複数行の削除(リストで指定)の事例 df2 = df.drop( index = [ 'row_1' , 'row_3' ] ) -特定列の削除の事例 df2 = df.drop( columns = 'col_2' ) -複数列の削除(リストで指定)の事例 df2 = df.drop( columns=[ 'col_1' , 'col_3' ] ) -行列まとめて削除指定する場合は、カンマで区切って列挙します。 df2 = df.drop( index='row_3' , columns='col_2' ) ~ ***欠損値に関する処理 DataFrame.isnull( ) , DataFrame.dropna( ) , DataFrame.fillna( ) 実際のデータには、無回答や入力ミスなどで欠損値が発生することがあります。pandas では NaN(Not a Number:非数) と表記され部分が欠損値ですが、これは後の演算等でエラーを発生させる原因となるので、それを含む部分は除去することが必要です(データクレンジング)。 -欠損値の確認:DataFrame.isnull( ).sum( ) df.isnull( ).sum( ) -欠損値のある行を削除:DataFrame.dropna( ) df = df.dropna( how='any' ) &small(※ how ='any' は欠損がひとつでもあれば、その行を削除); -欠損値に値を埋める:DataFrame.fillna( ) ~ ***データの並べ替え -値による並べ替え:DataFrame.sort_values( ) # col_2 の降順に並べ替え df.sort_values( 'col_2', ascending=False ) -インデックスによる並べ替え:DataFrame.sort_index( ) ~ ***データの抽出 DataFrame[ ]、DataFrame.iloc[ ]、DataFrame.loc[ ] 以下、いずれも抽出後の DataFrame を返しますが、元のデータフレームそのものが更新されることはありません(非破壊操作)。 -行の抽出 先頭から 3 行目までを抽出 df[ :3 ] # 0, 1, 2 行目が抽出されます 特定区間を抽出 df[ 3:5 ] # 3, 4 行目が抽出されます -列の抽出 col_1 列の抽出 df[ 'col_1 ' ] または df.col_1 複数列の抽出 df[ [ 'col_2 ' , 'col_3 ' ] ] -行・列の番号を利用した抽出( iloc属性の利用 ) 1行目・1列目のデータを抽出 df.iloc[ 1 , 1 ] すべての行の 5列目 を抽出(「 : 」 は「すべて取り出す」の意味) df.iloc[ : , 5 ] -index・columns名を利用した抽出( loc属性の利用 ) row_1行の col_2 のデータを抽出 df.loc[ 'row_1' , 'col_2' ] すべての行の col_2 を抽出(「 : 」 は「すべて取り出す」の意味) df.loc[ : , 'col_2' ] ~ ***query メソッドによるデータの抽出 DataFrame.query( ) 以下、いずれも抽出後の DataFrame を返しますが、元のデータフレームそのものが更新されることはありません(非破壊操作)。 -height列の値が 170以下である行を抽出 df.query( 'height <= 170' ) -A列の値が B列の値より大きい行を抽出 df.query( 'A > B' ) -name列の値が文字列 "鈴木" である行を抽出 df.query( ' name == "鈴木" ' ) -芸術学部で GPA が 2.0 以上を抽出 df.query( ' 学部 == "芸術" and GPA >= 2.0 ' ) -参考:条件式に使える記号 等 号:== 否 定:!= 不等号:< , > , <= , >= 論理積:and , & 論理和:or , | ~ ***カウント・合計・平均・中央値・分散 DataFrame.value_counts( ) , DataFrame.sum( ) , DataFrame.mean( ), DataFrame.median( ) , DataFrame.var( ) -値ごとの数をカウント df[ '学部' ].value_counts( ) # 全データ中の各学部の人数をカウント -列の合計・平均・分散 df[ 'col_1' ].sum( ) # col_1列の合計 df[ 'col_1' ].mean( ) # col_1列の平均 df[ 'col_1' ].median( ) # col_1列の中央値 df[ 'col_1' ].var( ) # col_1列の分散 ~ ***GroupByオブジェクトの利用 DataFrame.groupby( ) 特定の列データの値を基準にグルーピングした上で、グループごとの統計処理を行うことができます。例えば、全学生の成績一覧がある場合に、学部ごとの成績の平均を求める・・といったことが可能です。 -グループごとの統計 df.groupby( '学部' ).sum( ) df.groupby( '学部' ).mean( ) df.groupby( '学部' ).var( ) -グループを複合して統計 df.groupby( [ '学部' ,'性別' ] ).mean( ) # 各学部 X 性別ごとの平均 ~ ***クロス集計 pandas.crosstab( ) 2項目のカテゴリの組み合わせでサンプル数の算出ができます。 第一引数が index(行見出し)、第二引数が columns(列見出し)となる DataFrame が返されます。 -単純クロス集計 pd.crosstab( df[ 'col_1' ] , df[ 'col_2' ] ) -正規化 pd.crosstab( df[ 'col_1' ] , df[ 'col_2' ] , normalize='index' ) ~ ***ピボットテーブル pandas.pivot_table( index = 'XX', columns = 'XX', values = 'Fare' ) 2項目のカテゴリの組み合わせで、データの統計量(平均、合計、最大、最小、標準偏差など)を確認・分析できます。 -index:元データの列名を指定。結果の行見出しになります。 -columns:元データの列名を指定。結果の列見出しになります。 https://pandas.pydata.org/docs/reference/api/pandas.pivot_table.html //-平均の表示 // pandas.pivot_table( df, index = '学部' , column = '性別' , values='Fare' ) //デフォルトでは、平均値が表示されます。 ~ ~ **データの可視化 以下、Matplotlib の import が必要です。> [[DataVisualization]] import matplotlib.pyplot as plt ~ ***ヒストグラム:DataFrame.hist( ) -すべての数値項目について一括表示 df.hist( ) -生成される画像のサイズを 9インチ x 6インチに指定する場合 df.hist( figsize = ( 9, 6 ) ) -50件分表示の場合 df[:50].hist( figsize = ( 9, 6 ) ) ~ ***汎用グラフ:DataFrame.plot( ) &small(引数kindでグラフの種類を指定できます。); -line : 折れ線グラフ(line plot) df.plot( kind='line' ) -bar : 垂直棒グラフ(vertical bar plot) -barh : 水平棒グラフ(horizontal bar plot) -box : 箱ひげ図(boxplot) -hist : ヒストグラム(histogram) -kde, density : カーネル密度推定(Kernel Density Estimation plot ) -area : 面グラフ(area plot) -scatter : 散布図(scatter plot) df.plot(kind='scatter', x='item01', y='item02', alpha=0.5, figsize=(9, 6) ) -hexbin : hexbin plot -pie : 円グラフ(pie plot) ~ //***棒グラフ:DataFrame.bar( ) ***散布図:DataFrame.plot.scatter( ) df.plot.scatter( x='item1', y='item2' ) ~ ***箱ひげ図:DataFrame.boxplot( ) df.boxplot( column="item-x", by="item-y" ) ~ ~ **活用サンプル 以下に、Pandas によるデータ読み込みのサンプルを掲載しています。 ipynb(JupyterNotebook)形式で、GitHubに置いていますが、レンダリングがタイムアウトする場合は、下の nbviewer 経由でご覧下さい。 -GitHub:[[ReadDataSample.ipynb>https://github.com/koichi-inoue/JupyterNotebook/blob/master/ReadDataSample.ipynb]] -nbviewer:[[ReadDataSample.ipynb>https://nbviewer.jupyter.org/github/koichi-inoue/JupyterNotebook/blob/master/ReadDataSample.ipynb]] ~ ~ **参考:ライブラリのサンプルデータを読む事例 # サンプルデータセットを取得 from sklearn import datasets boston = datasets.load_boston( ) # 読み込んだデータを Pandas の DataFrame型に変換 df = DataFrame( boston.data , columns = boston.feature_names ) # 目的変数をDataFrameへ追加 df[ 'MEDV' ] = np.array( boston.target ) ~ ~