LogoMark.png

InformationTheory

情報理論


情報とは、何らかの媒体を通じて発信者から、受信者に伝達される意味内容のことです。人間同士の会話、紙に記された文字、モニターに表示される映像、音楽、さらには、ネットワークを行き交う信号など、様々な様態があります。

情報とはわれわれに何事かを教えてくれるものであり、
われわれの不確実な知識を確実にしてくれるものである。

甘利俊一「情報理論」

informationの語義・語源

英語語源辞典,1997,研究社



情報量と秩序

選択的情報量

事象Eが起こる確率をP(E)とするとき、 「事象 E が起こったという知らせ」がもたらす情報量を以下のように定義します。

情報量 = ーlog2P(E) (bit) P:生起確率
 
情報量は、2を底とする対数で、単位は bit( binary digit :2進数)です。
生起確率が低い事象ほど情報量は大きくなる。つまり珍しい話ほど、情報量は大きい・・という、ごくあたりまえの話として理解できます。

もうひとつの考え方
例えば6通りの可能性があるサイコロを振った場合、1の目が出る確率は1/6といえます。よって「1が出た」という知らせがもたらす情報量は
ー log 2 (1/6) = log 2 6 = 2.5849 (bit) となります。

ここで、 log 2 6 に注目します。この 6 という数字は「可能性の数」です。このように、個々のケースで「生起確率」が等しい場合、その逆数である「可能性の数」という概念を使うことでも情報量の計算が可能です。

情報量 = log2N (bit) N:可能性の数

平均情報量(エントロピー,シャノン情報量)

すべての事象について「出現確率 x 出現時情報量」 の平均をとった値
言い換えれば、選択的情報量 - log 2 P(E)の「期待値」のことを
平均情報量(エントロピー)といいます。

エントロピー = - ΣP(E)・log 2 P(E) 

エントロピーは何を意味するか

エントロピーは、簡単にいうと「わからなさ」の指標です。
結果が「どの程度予測しにくいか」といってもいいでしょう。
この概念を用いると、以下のように情報量を考えることができます。

ある「知らせ」の情報量
 = はじめのわからなさ ー 「知らせ」のあとに残るわからなさ

サイコロを振ったとき「偶数が出てるよ」という「天使のつぶやき」の情報量を計算してみましょう。

サイコロのように、すべての事象の出現確率が均等である場合、結果的には、平均情報量は、ふつうに選択的情報量を計算した場合と同じになります。

しかし、実際には事象ごとに、出現確率は異なります。
例えば、水[ ] の空欄を埋める問題では、水[色]や水[曜]は比較的出現しやすいですが、水[鶏](くいな)はめったに出現しません。水[曜]を答えさせるクイズは簡単で、水[鶏]を答えさせるクイズは難問となります。よって、単純に[ ]に入る可能性のある文字が何通りあるかだけでは、エントロピーを計ることはできず、理論的には、 - ΣP(E)・log 2 P(E) と、すべての事象について合算平均する必要が生じるのです。

なぜ対数を使うのか

刺激・情報に対する人間の感覚は、物理量の対数をとるとちょうどいい・・
というのが対数をとる理由です。

事例研究

関数電卓はココ


情報量と感じ方


「秩序」について

情報とは、外界から得る知識内容のことであり、
記号のセリーが担っている秩序の尺度である(N.ウイナー)。

人間は自ら秩序を作る生き物であり、また記号的に世界を
秩序立てて見ようとする生き物だといえます。

人間の作る秩序には、先行するイメージとしての設計図、
すなわちデザインがあります。

「最も巧みな蜜蜂と最も無能な建築家の違いは、
建築家が設計図にもとづいて仕事をすることである。」
      P.J.Wilson(『人間-約束するサル』佐藤俊訳)

秩序(情報)を捉える「知識ベース」について

あらゆる情報の認知には、「基準」や「準拠枠(Frame of Reference)」が必要です。それらは見る者の「構え」を形成し、情報要素はトップダウン的にその基準からの偏移によって測られます(音楽では曲のキーやスケールが「基準」に該当)。

例えば、桜が美しくみえるかどうか・・・という話しでも、
それを見る者の「桜についての知識のありかた」が大きく影響しています。

関連リンク




情報の哲学

情報の空間性・時間性

松岡正剛(「知の編集工学」)に、有名な言葉があります。

情報は、ひとりでいられない

差異/言語/情報

最も基本的な「情報化」は、それに「名を与える」ということです。
言語化されてはじめてそれは情報になります。 > 言葉とは何か
物事を「差異化」して「関係づけ」すること・・

情報デザインの起源

ブレンダ・ダービン(「情報デザイン原論」)によれば、「情報」は、それ自体、人間がデザインした(ている)もの・・と考えることができます。

「情報」は、無秩序でもあり、秩序でもある現実を明快に理解するために
人間が考案(デザイン)した道具である。 ブレンダ・ダービン

情報量と視覚情報デザイン

平面構成と情報量

Fig1.jpg

文脈(コンテキスト)によって変化する情報量

文脈からある程度推理できる情報要素の出現 → 情報量小
文脈からは推理しにくい情報要素の出現 → 情報量大

筆箱とペンと三角定規 ←→ 土曜日とペンと腕時計 
筆箱・三角定規に並置された「ペン」と、 土曜日・腕時計に並置された「ペン」とでは、後者の方が出現確率が小さく情報量が大きなものになります。後者の「ペン」は、筆記具としての意味以上のイメージの広がりを持ちます。

空を見上げて ←→ 空を持ち上げて
文脈的に推測しにくい言葉が出現するという点で、上と同様に
右の表現の方が情報量の大きな表現といえます。

編集によって変化する情報量

要素が単体で存在する状態 → 情報として認知されにくい
要素を反復(リフレイン)すると → 秩序感が生まれる(人間の意志を感じる)
秩序のルールが単純・強固になると → 情報量は減少する
秩序に偏移を与える(対称性を破る)と → 緊張感増大/情報量増大

偏移が激しくなると → 情報量は増大するが、それがあまりにも過度になれば、単に無秩序な状態に見え、情報として認知されにくくなります

同じ情報要素(映像で言うショット)も、編集によって前後関係を入れ替えるだけでも情報量が変化します。

身近な「情報」の情報量を上げるには?

関連知識




PAGES

GUIDE

DATA

添付ファイル: fileFig1.jpg 156件 [詳細]
Last-modified: 2019-07-05 (金) 20:51:14