InformationTheory

情報理論

情報とは、何らかの媒体を通じて発信者から、受信者に伝達される意味内容のことです。人間同士の会話、紙に記された文字、モニターに表示される映像、音楽、さらには、ネットワークを行き交う信号など、様々な様態があります。

情報とはわれわれに何事かを教えてくれるものであり、
われわれの不確実な知識を確実にしてくれるものである。

甘利俊一「情報理論」

informationの語義・語源

• information n.
  1. informすること
  2. 告訴、略式起訴
• inform v.
  1. 教育する、訓練する
  2. 形づくる、生み出す
  3. 知識を授ける、教える
  4. …の特徴を与える；魂を吹き込む
  5. 人に…を知らせる
• informer n.
  1. 教授者、指導者
  2. 通知者、情報提供者

英語語源辞典,1997,研究社

情報量と秩序

選択的情報量

事象Eが起こる確率をP(E)とするとき、 「事象 E が起こったという知らせ」がもたらす情報量を以下のように定義します。

情報量 = ーlog2P(E) (bit)　P：生起確率
　
情報量は、2を底とする対数で、単位は bit（ binary digit ：２進数）です。
生起確率が低い事象ほど情報量は大きくなる。つまり珍しい話ほど、情報量は大きい・・という、ごくあたりまえの話として理解できます。

もうひとつの考え方
例えば6通りの可能性があるサイコロを振った場合、1の目が出る確率は1/6といえます。よって「1が出た」という知らせがもたらす情報量は
ー log 2 (1/6) = log 2 6 = 2.5849 (bit) となります。

ここで、 log 2 6 に注目します。この 6 という数字は「可能性の数」です。このように、個々のケースで「生起確率」が等しい場合、その逆数である「可能性の数」という概念を使うことでも情報量の計算が可能です。

情報量 = log2N (bit)　N：可能性の数

平均情報量（エントロピー,シャノン情報量）

すべての事象について「出現確率 x 出現時情報量」 の平均をとった値
言い換えれば、選択的情報量 - log 2 P(E)の「期待値」のことを
平均情報量（エントロピー）といいます。

エントロピー = - ΣP(E)・log 2 P(E)　

エントロピーは何を意味するか

エントロピーは、簡単にいうと「わからなさ」の指標です。
結果が「どの程度予測しにくいか」といってもいいでしょう。
この概念を用いると、以下のように情報量を考えることができます。

ある「知らせ」の情報量
　= はじめのわからなさ ー 「知らせ」のあとに残るわからなさ

サイコロを振ったとき「偶数が出てるよ」という「天使のつぶやき」の情報量を計算してみましょう。

• サイコロを振って何がでるか？の、はじめのエントロピーは、
  ー Σ(1/6)・log 2 (1/6)　
  = ー 1/6 x log 2 (1/6) ー 1/6 x log 2 (1/6) ・・・ー 1/6 x log 2 (1/6)
  = ー log 2 (1/6) = log 2 6 = 2.5849 (bit)
• 「偶数が出てるよ」というつぶやき（ヒント）が得られたとすると、
  あとは２か４か６なので、あとに残るエントロピーは
  ー Σ(1/3)・log 2 (1/3)　
  = ー 1/3 x log 2 (1/3) ー 1/3 x log 2 (1/3) ー 1/3 x log 2 (1/3)
  = ー log 2 (1/3) = log 2 3 = 1.5849 (bit)
• 3) よって「偶数の目が出た」という知らせの情報量は、
  　 情報量 = 1) - 2) = log 2 6 - log 2 3 = log 2 2 = 1 (bit)
• 「偶数の目」がでる確率は 1/2 なので、
  選択的情報量である - log 2 (1/2) = 1 (bit)　と一致する。

サイコロのように、すべての事象の出現確率が均等である場合、結果的には、平均情報量は、ふつうに選択的情報量を計算した場合と同じになります。

しかし、実際には事象ごとに、出現確率は異なります。
例えば、水[　] の空欄を埋める問題では、水[色]や水[曜]は比較的出現しやすいですが、水[鶏]（くいな）はめったに出現しません。水[曜]を答えさせるクイズは簡単で、水[鶏]を答えさせるクイズは難問となります。よって、単純に[　]に入る可能性のある文字が何通りあるかだけでは、エントロピーを計ることはできず、理論的には、 - ΣP(E)・log 2 P(E) と、すべての事象について合算平均する必要が生じるのです。

なぜ対数を使うのか

刺激・情報に対する人間の感覚は、物理量の対数をとるとちょうどいい・・
というのが対数をとる理由です。

• 例えば、ひらがな２文字と４文字で、表現できる量を比較してみます
  • ２文字(2桁)で表現できるのは、502 = 2,500通り
  • ４文字(4桁)で表現できるのは、504 = 6,250,000通り　
    ということで、４文字は２文字の 2,500倍の表現が可能です。

• しかし人間の感覚では、「４文字は２文字の２倍」という感じ。
  「桁数」をそのまま情報量とする方が直感に合います。

• そこで、表現できる数について、50を底とする対数をとると
  • ２文字(2桁)の場合は、log 50 2,500 = 2
  • ４文字(4桁)の場合は、log 50 6,250,000 = 4
    と「桁数」に戻って、人間がふつうに感じる「情報の量」に一致します。

• ちなみに、bit(binary digit)という単位は、２を底とする対数に由来。
  ２進数の世界では、N桁で２Nとおりの表現が可能なので、
  log 2 2 N = N bit　つまり桁数がそのままビット数になります。
  
  

事例研究

• コインを投げたとき・・「表が出た」という「知らせ」がもたらす情報量は
  可能性の数で考えれば log 2 2 = 1 (bit)
  出現確率で考えれば - log 2 (1/2) = log 2 2 = 1 (bit)

• 音域１オクターブのメロディーで1音が担う情報量は
  • ７音階→８音　log 2 8 = 3 (bit)
  • ５音階→６音　log 2 6 = 2.585 (bit)

• 1文字が担う情報量は
  • 英語（アルファベット）：log 2 26 = 4.7
  • 日本語（ひらがな）：log 2 50 = 5.644
    英語を日本語に訳すと文字数が少なくなるのは、日本語１文字が担う情報量の方が大きいから・・と説明できます。

• ２進数８桁 が担う情報量は、
  0000 0000 〜 1111 1111 → 2x2x2x2x2x2x2x2 = 256 通り
  log2256 (bit)　= 8 (bit)　
  一般に、２進数N桁 の情報量は N (bit) になります。

• キーボード上にある英字、数字、記号、１タイプが担う情報量は
  英字、数字、記号の総数は約200種類　log 2 200 = 7.64 (bit)
  つまり　8ビット＝1バイト　というのは、
  欧米の人が使う文字を１つ表現するのに必要な情報量・・・に由来します。

情報量と感じ方

• 情報量が小さすぎる：単調 退屈 おもしろくない
• 情報量が適度に大きい：なるほど! 面白い!
• 情報量が大きすぎる：複雑 難解 不快感

「秩序」について

情報とは、外界から得る知識内容のことであり、
記号のセリーが担っている秩序の尺度である(N.ウイナー)。

人間は自ら秩序を作る生き物であり、また記号的に世界を
秩序立てて見ようとする生き物だといえます。

人間の作る秩序には、先行するイメージとしての設計図、
すなわちデザインがあります。

「最も巧みな蜜蜂と最も無能な建築家の違いは、
建築家が設計図にもとづいて仕事をすることである。」
　　　　　　P.J.Wilson(『人間-約束するサル』佐藤俊訳)

秩序(情報)を捉える「知識ベース」について

あらゆる情報の認知には、「基準」や「準拠枠（Frame of Reference）」が必要です。それらは見る者の「構え」を形成し、情報要素はトップダウン的にその基準からの偏移によって測られます(音楽では曲のキーやスケールが「基準」に該当)。

例えば、桜が美しくみえるかどうか・・・という話しでも、
それを見る者の「桜についての知識のありかた」が大きく影響しています。

関連リンク

• Wikipedia: 情報
• Wikipedia: 情報量
• Wikipedia: 情報理論
• Wikipedia: クロード・シャノン
• Wikipedia: ジョン・フォン・ノイマン

情報の哲学

情報の空間性・時間性

松岡正剛(「知の編集工学」)に、有名な言葉があります。

情報は、ひとりでいられない

• 我々が「情報」をどのように扱っているか、また遺伝「情報」はどのようにふるまっているかをみれば明らかですが、情報は複製・伝達・蓄積・共有されることで、はじめて意味をもつ存在です。　・・情報の時間性
• 例えば、「赤」は単体では意味をもちませんが、「青」と組み合わされて「交差点」という文脈に位置付けられると「止まれ」という意味を担う情報になります。他との「関係」が重要なのです。・・情報の空間性
  
  

差異/言語/情報

最も基本的な「情報化」は、それに「名を与える」ということです。
言語化されてはじめてそれは情報になります。 > 言葉とは何か
物事を「差異化」して「関係づけ」すること・・

情報デザインの起源

ブレンダ・ダービン(「情報デザイン原論」)によれば、「情報」は、それ自体、人間がデザインした(ている)もの・・と考えることができます。

「情報」は、無秩序でもあり、秩序でもある現実を明快に理解するために
人間が考案（デザイン）した道具である。　ブレンダ・ダービン

• 情報の起源 > イメージの起源
• 人はなぜ「情報」を遺すのか？（時間軸比較）
  • ホモサピエンス
  • 人類拡散のルート
• 類人猿は「情報」を扱うのか？（水平軸比較）
  • 進化の隣人 チンパンジー
  • チンパンジーの絵
  • チンパンジーの音楽
    
    
    
    

情報量と視覚情報デザイン

平面構成と情報量

文脈(コンテキスト)によって変化する情報量

文脈からある程度推理できる情報要素の出現 → 情報量小
文脈からは推理しにくい情報要素の出現 → 情報量大

筆箱とペンと三角定規　←→　土曜日とペンと腕時計　
筆箱・三角定規に並置された「ペン」と、 土曜日・腕時計に並置された「ペン」とでは、後者の方が出現確率が小さく情報量が大きなものになります。後者の「ペン」は、筆記具としての意味以上のイメージの広がりを持ちます。

空を見上げて　←→　空を持ち上げて
文脈的に推測しにくい言葉が出現するという点で、上と同様に
右の表現の方が情報量の大きな表現といえます。

編集によって変化する情報量

要素が単体で存在する状態 → 情報として認知されにくい
要素を反復(リフレイン)すると → 秩序感が生まれる（人間の意志を感じる）
秩序のルールが単純・強固になると → 情報量は減少する
秩序に偏移を与える(対称性を破る)と → 緊張感増大/情報量増大

偏移が激しくなると → 情報量は増大するが、それがあまりにも過度になれば、単に無秩序な状態に見え、情報として認知されにくくなります

同じ情報要素(映像で言うショット)も、編集によって前後関係を入れ替えるだけでも情報量が変化します。

身近な「情報」の情報量を上げるには？

• 言葉の順序を変える　「地球の [ 水 ] 」　→　「水の [ 地球 ] 」
• 物事を「斜め」につなぐ、異なる地平にあるものをつなぐ
  • 例）「ひらがな」を「洗う」
    ひらがな｜ で…｜に…｜を…｜は …｜が…｜も…｜へ…｜
    
    
    
    

関連知識

• N進法（位取り記数法）　N個の記号で数を表す方法
• 論理回路　コンピュータはどうやって計算しているのか