LogoMark.png

InformationTheory のバックアップ(No.2)


情報理論

InformationTheory

はじめに

情報とは、何らかの媒体を通じて発信者から、受信者に伝達される意味内容のことです。人間同士の会話、紙に記された文字、モニターに表示される映像、音楽、さらには、ネットワークを行き交う信号など、様々な様態があります。


informationの語義・語源

英語語源辞典,1997,研究社

物質・エネルギー・情報

物質・エネルギー・情報という3大抽象概念のうち、「情報」は科学の対象としては歴史的に最も新しい概念です。

物質(紀元前) > エネルギー(17世紀) > 情報(19世紀) 

物質は、我々の視覚・触覚で直感的に捉えられるもので、デモクリトスの原子論以来、紀元前から思考の対象となっていました。

エネルギーは、直接的に目に見える対象ではないがゆえに、その理解には時間を要しました。

17世紀イタリアの物理学者ガリレオ・ガリレイによる「位置エネルギーと運動エネルギー(力学的エネルギー)の保存」の発見がエネルギー概念の萌芽で、それから 200年以上を経た 19世紀、イギリスの物理学者ジュール(他にマイヤーとヘルムホルツ)が、エネルギー保存則(熱力学の第1法則)を確立しました。

力学的エネルギーに加え、熱エネルギー、化学的エネルギー、
電気エネルギー、光(電磁波)のエネルギー・・
すべてのエネルギーの総和は、閉じた系において常に一定である。

これによって、あらゆる物理現象が数式によって説明されるようになり、同時に、人類は対象を思い通りに制御する術を手に入れました。

そして1905年、物理学者 A. アインシュタインの特殊相対性理論により、

 物質とエネルギーは同じものであり、相互に変換できる

ということが発見されました。質量とエネルギーは E = mc2 という関係にあり「閉じた系において質量とエネルギーの総和は常に一定」であることがわかったのです。ちなみに c(光速)は 299,792,458 m/s という非常に大きな数なので、この式は、わずかな質量が膨大なエネルギーに置き換わることを意味します。

では、情報とは何か。それは、サイバネティックス(人工頭脳学)の生みの親である、数学者 N.ウイナーによって、以下のように説明されます。

物質・エネルギーが存在する様態、すなわち、
時間的・空間的、定性的・定量的なパターンが「情報」である

情報とは何か。物質・エネルギー・情報という3つの概念を並べて、その発見の歴史を眺めてみることで、情報媒体(物質・エネルギー)と 情報(時間的・空間的パターン)という、総合的な理解のための2つのキーワードを手に入れることができます。

物質として存在する情報媒体は空間に拘束されるとともに、時間の流れに逆らうことができませんが、情報は、空間・時間を超越します。

パターンとコード

パターンとコード。似ているようで異なる概念です。パターンは物理的な要因のみでも発生しますが(散逸構造)、コードの生成には「意志」が必要です。

情報を捉える視点(概念モデル)

情報理論に関わる重要な人物





情報量と秩序

情報量の定義には、「その事象がもたらす知らせの大きさ」として定義するものと、「可能性のある事象の全体から想定される知らせの大きさの期待値(平均値)」として定義するものとがあります。前者を選択的情報量、後者を平均情報量(エントロピー)と呼んで区別します。

選択的情報量

事象Eが起こる確率を P(E) とするとき、 「事象 E が起こったという知らせ」がもたらす情報量 I(E) を以下のように定義します。

\[ I(E) = \log_{2}{ \frac{1}{P(E)} } = -\log_{2}{P(E)} \]

情報量は、2を底とする対数で、単位は bit( binary digit :2進数)です。
生起確率が低い事象ほど情報量は大きくなる。つまり「珍しい話ほど、情報量は大きい」という、ごくあたりまえの話として理解できます。

選択的情報量は、事象によっては簡単に記述することもできます。例えば6通りの可能性のあるサイコロで1の目が出る確率は 1/6 なので、「1が出た」という知らせがもたらす情報量は ー log 2 (1/6) = log 2 6 = 2.5849 (bit) となります。このサイコロのように、個々の「生起確率」が等しい場合、その逆数である「可能性の数 \(N\) 」を使うと計算式が簡単になります。

\[ I(E) = \log_{2}{N} \]


対数について

\(\log\) って何?という方へ、以下のように理解いただくだけで十分です。

平均情報量(エントロピー,シャノン情報量)

すべての事象について「出現確率 x 出現時情報量」 の平均をとった値、すなわち選択的情報量 \(-\log_{2}{P(E)} \) の「期待値」H(P) を平均情報量(エントロピー)といいます。

\[ H(P) = - \sum_{ }^{ } P(E) \cdot \log_{2}{P(E)} \]

エントロピーは何を意味するか

情報学におけるエントロピーは、簡単にいうと「わからなさ」の指標です。
結果が「どの程度予測しにくいか」といってもいいでしょう。
この概念を用いると、以下のように情報量を考えることができます。

ある「知らせ」の情報量
 = はじめのわからなさ ー 「知らせ」のあとに残るわからなさ

サイコロを振ったとき「偶数が出てるよ」という「天使のつぶやき」の情報量を計算してみましょう。

サイコロのように、すべての事象の出現確率が均等である場合、結果的には、平均情報量は、ふつうに選択的情報量を計算した場合と同じになります。

しかし、実際には事象ごとに、出現確率は異なります。
例えば、水[ ] の空欄を埋める問題では、水[色]や水[曜]は比較的出現しやすいですが、水[鶏](くいな)はめったに出現しません。水[曜]を答えさせるクイズは簡単で、水[鶏]を答えさせるクイズは難問となります。よって、単純に[ ]に入る可能性のある文字が何通りあるかだけでは、エントロピーを計ることはできず、理論的には、 - ΣP(E)・log 2 P(E) と、すべての事象について合算平均する必要が生じるのです。

参考:熱力学におけるエントロピー


なぜ対数を使うのか

刺激・情報に対する人間の感覚は、物理量の対数をとるとちょうどいい・・
というのが対数をとる理由です。

事例研究


参考:関数電卓で対数計算

関数電卓 \(\log_{2}256\) を計算したい場合は、以下のように入力します。

log(256,2)


情報量と感じ方


「秩序」について

情報とは、外界から得る知識内容のことであり、
記号のセリーが担っている秩序の尺度である(N.ウイナー)。

人間は自ら秩序を作る生き物であり、また記号的に世界を
秩序立てて見ようとする生き物だといえます。

人間の作る秩序には、先行するイメージとしての設計図、
すなわちデザインがあります。

「最も巧みな蜜蜂と最も無能な建築家の違いは、
建築家が設計図にもとづいて仕事をすることである。」
      P.J.Wilson(『人間-約束するサル』佐藤俊訳)

秩序(情報)を捉える「知識ベース」について

あらゆる情報の認知には、「基準」や「準拠枠(Frame of Reference)」が必要です。それらは見る者の「構え」を形成し、情報要素はトップダウン的にその基準からの偏移によって測られます(音楽では曲のキーやスケールが「基準」に該当)。

例えば、桜が美しくみえるかどうか・・・という話しでも、
それを見る者の「桜についての知識のありかた」が大きく影響しています。

関連リンク




情報の哲学

情報の空間性・時間性

松岡正剛(「知の編集工学」)に、有名な言葉があります。

情報は、ひとりでいられない

差異/言語/情報

最も基本的な「情報化」は、それに「名を与える」ということです。
言語化されてはじめてそれは情報になります。 > 言葉とは何か
物事を「差異化」して「関係づけ」すること・・

情報デザインの起源

ブレンダ・ダービン(「情報デザイン原論」)によれば、「情報」は、それ自体、人間がデザインした(ている)もの・・と考えることができます。

「情報」は、無秩序でもあり、秩序でもある現実を明快に理解するために
人間が考案(デザイン)した道具である。 ブレンダ・ダービン

情報量と視覚情報デザイン

平面構成と情報量

Fig1.jpg

文脈(コンテキスト)によって変化する情報量

文脈からある程度推理できる情報要素の出現 → 情報量小
文脈からは推理しにくい情報要素の出現 → 情報量大

筆箱とペンと三角定規 ←→ 土曜日とペンと腕時計 
筆箱・三角定規に並置された「ペン」と、 土曜日・腕時計に並置された「ペン」とでは、後者の方が出現確率が小さく情報量が大きなものになります。後者の「ペン」は、筆記具としての意味以上のイメージの広がりを持ちます。

空を見上げて ←→ 空を持ち上げて
文脈的に推測しにくい言葉が出現するという点で、上と同様に
右の表現の方が情報量の大きな表現といえます。

編集によって変化する情報量

要素が単体で存在する状態 → 情報として認知されにくい
要素を反復(リフレイン)すると → 秩序感が生まれる(人間の意志を感じる)
秩序のルールが単純・強固になると → 情報量は減少する
秩序に偏移を与える(対称性を破る)と → 緊張感増大/情報量増大

偏移が激しくなると → 情報量は増大するが、それがあまりにも過度になれば、単に無秩序な状態に見え、情報として認知されにくくなります

同じ情報要素(映像で言うショット)も、編集によって前後関係を入れ替えるだけでも情報量が変化します。

身近な「情報」の情報量を上げるには?

関連知識