実験研究に関わる統計的手法について
このページでは、デザイン研究に必要となる「実験」や「調査」について、その統計的手法に関する記事をまとめています。
統計的な処理では、一般にデータを以下のように分類します。
統計分析では、「何か」の操作が「別の何か」に影響するか（因果関係）、あるいは、「何か」と「別の何か」が連動するか（相関関係）・・など、''物事の関係性を分析します。この「何か」のことを一般に「変数」と呼びます。
例えば、「鉛筆の軸の太さの違いで、文字の書きやすさが変わるのか」といったことを実験的に確かめたい場合、「太さ」が独立変数で、「書きやすさ」が従属変数となります。
重要なことは、「ああすればこうなる」という原因と結果の関係、あるいは「ああであればこうである」という２者の相関関係を、いかにシャープに検証するかということです。言葉の定義、条件設定、外的要因の制御、科学的な実験では、これらがきちんと設定されていることが大切です。
さて、ここでいくつかの問題が生じます。まずは独立変数の方です。太さの違う鉛筆を実験材料に選んだとしても、鉛筆には、丸い軸や、６角のものがあり、また表面の塗装、さらに木材の密度も重さに影響するので無視できません。このように実験結果に影響をあたえてしまうような外的要因を「2次変数」といいます。本当に「太さの違い」が原因なのかを調べるためには、以下のような方法で２次変数をコントロールする必要があります。
問題は従属変数の方にもあります。「書きやすさ」というのは何を基準にすればよいのでしょうか。もちろん、被験者に対してストレートに「書きやすいか」という質問をぶつけて５段階で評価してもらう・・というのもひとつです。「書きやすい」という言葉があるくらいですから、人間が文字を書くときに感じる総合的な感覚としての「書きやすさ」については、言葉どおりに「書きやすいか」という質問も重要です。
一方で、これを別のものさしで測ることも可能です。「書きやすいのであれば、当然同じ文字数を書くのに、スピードが上がるはずだ」という推論ができるのであれば、「この文章をできるだけ早く書いてください」という作業を課し、「太さの違いが作業スピードの差に影響を与えるか」というふうに実験を置き換えることも可能です。
独立変数と従属変数という用語は、統計ソフトやライブラリーによって、異なる用語が使われる場合があります。以下いずれも同様の用語セットです。
| \(x\) | \(y\) |
| 独立変数（independent variable） | 従属変数（dependent variable） |
| 説明変数（explanatory variable） | 目的変数（target variable） |
| 特徴量（feature / attribute） | ラベル（label） |
| データ（data） | ターゲット（target） |
| 予測変数（predictor variable） | 応答変数（response variable） |
| 入力（input） | 出力（output） |
私たちが身の回りの観察から見出す物事の「関係」には、「身長が高い人は体重も大きい」、「気温が上がると清涼飲料水の売上が上がる」など、「ああであればこうである」という相関関係（共変動）というタイプのものと、「ああすればこうなる」という因果関係のタイプのものとがあります。
一般に、大量のデータにもとづく統計的な解析や機械学習から得られるのは「相関関係」であって因果関係ではありません。相関関係（共変動）というのは因果関係の前提に過ぎないので、判断や方針決定には注意が必要です。
経験的に観察された共変動は、因果関係の必要条件だが十分条件ではない
Edward Tufte
統計処理によって何らかの関係が見出された場合も、それを結論づける前に、そこに以下のような誤謬*2がないか注意深く検討することが必要です。
「チョコレートの摂取量」と「ノーベル賞の受賞者数」に正の相関経済的に豊かであることが両者の共通要因
「小学生の身長」と「論理的思考力」に正の相関学年が上がることが両者の共通要因
交番の数が多い地域ほど、犯罪件数が多い犯罪件数が多い地域だから交番が多く設置された
猫が顔を洗うと雨が降る雨が降る前の湿度上昇が、センサーであるひげを拭う行為を誘発
スマートフォンの普及が、地球温暖化を促進テクノロジーの進歩と経済活動の拡大という共通の要因、あるいは偶然
＞ ページを独立させました。Statistics/Descriptive
＞ ページを独立させました。Statistics/Inferential
＞ ページを独立させました。Statistics/Probability
＞ ページを独立させました。Statistics/HypothesisTesting
＞ ページを独立させました。Statistics/Bayesian
＞ ページを独立させました。Statistics/MultivariateAnalysis
Pythonはさまざまな分野のアプリケーションで使われているインタープリタ型のプログラミング言語ですが、統計ツールとしてのパッケージが充実しており、統計学習における重要なツールのひとつに位置付けられます。
オープンソース・フリーソフトウェアの統計解析向けのプログラミング言語及びその開発実行環境です。一見地味なのですが、すごく優秀なソフトで、統計関係の書籍もたくさん出ています。インストールする場合、まずR本体のインストールをして（これだけでも仕事はできます）、そのあと R-Studio のインストール、という手順になります。
簡単なGUI操作でデータマイニングができるオープンソースのソフトウエア
Python の開発環境 Anacondaを導入して、そこに追加すると便利です。
Excelのメニューに統計解析の手法を追加するアドインソフトです。
一般企業や官公庁むけの通常版と、学校法人等に属する学生、教職員むけのアカデミック版の2種類の価格があります。
https://bellcurve.jp/ex/
高等教育機関や社会人の学習者向けに提供される無償ソフトウェアです。
PC、Mac、Linuxで利用できます。
https://www.sas.com/ja_jp/software/university-edition.html
計画およびデータ収集から分析、レポート作成、実装までの分析プロセス全体に対応したソフトウェアの統合ファミリーです。
http://www-01.ibm.com/software/jp/marketplace/spss/
例えば「投薬の効果」のようなものであれば、実験群（投薬）と対照群（偽薬）を、被験者に偏りがないよう、ランダムに振り分けてつくることができますが（RCT：ランダム化比較実験）、社会科学では、そもそも実験群と対照群を厳密に用意することができません。例えば「ある教育手法の効果」を計るのに、生徒100人をランダムに振り分けて比較するということは難しく、同レベルの学校を２つ選んで比較したとしても、実験群と対照群には教師の違い他、様々な違いが存在するので、結果が当該手法の効果であるとは言い切れないのです。
また、因果推論の根本問題として「同一人物の異なるケースの経過観察」は不可能です。時を戻すことができれば「実施した場合」と「実施しなかった場合」の厳密な比較ができますが、それは現実には不可能です。
ちなみに、人と社会を相手にして「因果効果を測る」という、この難しい課題に取り組む手法として、以下のようなマッチング手法*3があります。
統計データの分析結果は、社会現象の予測については、必ずしも有効な手段ではありません。社会学や社会心理学でよく話題になる「予言の自己成就」と「予言の自己破綻」について知っておくことが必要です。それぞれ身近な事例で説明します。
なぜ「帰無仮説を棄却する」などいうまわりりくどい論理を使うのか。これは仮説検定だけではなく、科学的な方法論一般にみられるものです。
たとえば「青い鳥が存在する」という「特称命題」は、それを一匹見つければ証明できますが、「すべての鳥は青い」という「全称命題」を実証するためには、地球上のすべての鳥を観察して、全部青いことを示さなければなりません。これは不可能です。しかしこれを反証するためには、青くない鳥を一匹見つけるだけで済むのです。実証と反証では、圧倒的に反証の方がしやすいのです。