InformationTheory
をテンプレートにして作成
LECTURE
担当科目一覧
ソーシャルデザイン応用演習/2020
情報デザイン演習IIIA/2020
情報デザイン研究II/2020
卒業研究I,II
情報デザイン概論/地域共創
Webデザイン基礎B/短大
デザイン総合研究
特定演習|情報デザインB
KEYWORDS
WEB DESIGN
SOCIAL DESIGN
SQUARES
LINKS
九州産業大学
芸術学部
芸術研究科
九産大美術館
九産大図書館
年間スケジュール
動画ニュース他
交通情報
気象・環境情報
危機管理
K'sLife
Office365Mail
Tools
SEARCH
開始行:
*情報理論
~
情報とは、何らかの媒体を通じて発信者から、受信者に伝達さ...
情報とはわれわれに何事かを教えてくれるものであり、
われわれの不確実な知識を確実にしてくれるものである。
甘利俊一「情報理論」
~
***informationの語義・語源
-information n.
1. informすること
2. 告訴、略式起訴
-inform v.
1. 教育する、訓練する
2. 形づくる、生み出す
3. 知識を授ける、教える
4. …の特徴を与える;魂を吹き込む
5. 人に…を知らせる
-informer n.
1. 教授者、指導者
2. 通知者、情報提供者
&small(英語語源辞典,1997,研究社);
~
~
**情報量と秩序
//[[情報量>Wikipedia:情報量]]
***選択的情報量
事象Eが起こる確率をP(E)とするとき、 「事象 E が起こったと...
''情報量 = ーlogSUB{2};P(E) SUB{(bit)}; P:生起確率''
//I(E) = - log SUB{2}; P(E) SUB{bit};
情報量は、2を底とする対数で、単位は bit( binary digit :...
生起確率が低い事象ほど情報量は大きくなる。つまり珍しい話...
''もうひとつの考え方''
例えば''6通り''の可能性があるサイコロを振った場合、1の目...
ー log SUB{2}; (1/6) = log SUB{2}; 6 = 2.5849 SUB{(bit)}...
ここで、 log SUB{2}; 6 に注目します。この 6 という数字は...
''情報量 = logSUB{2};N SUB{(bit)}; N:可能性の数''
~
***平均情報量(エントロピー,シャノン情報量)
すべての事象について「出現確率 x 出現時情報量」 の平均を...
言い換えれば、選択的情報量 - log SUB{2}; P(E)の「期待値」...
平均情報量(エントロピー)といいます。
エントロピー = - ΣP(E)・log SUB{2}; P(E)
//H(P) = - ΣP(E)・log SUB{2}; P(E)
~
***エントロピーは何を意味するか
エントロピーは、簡単にいうと「わからなさ」の指標です。
結果が「どの程度予測しにくいか」といってもいいでしょう。
この概念を用いると、以下のように情報量を考えることができ...
ある「知らせ」の情報量
= はじめのわからなさ ー 「知らせ」のあとに残るわからなさ
サイコロを振ったとき「偶数が出てるよ」という「天使のつぶ...
-サイコロを振って何がでるか?の、はじめのエントロピーは、
ー Σ(1/6)・log SUB{2}; (1/6)
= ー 1/6 x log SUB{2}; (1/6) ー 1/6 x log SUB{2}; (1/6) ...
= ー log SUB{2}; (1/6) = log SUB{2}; 6 = 2.5849 SUB{(bi...
- 「偶数が出てるよ」というつぶやき(ヒント)が得られたと...
あとは2か4か6なので、あとに残るエントロピーは
ー Σ(1/3)・log SUB{2}; (1/3)
= ー 1/3 x log SUB{2}; (1/3) ー 1/3 x log SUB{2}; (1/3) ...
= ー log SUB{2}; (1/3) = log SUB{2}; 3 = 1.5849 SUB{(bi...
-3) よって「偶数の目が出た」という知らせの情報量は、
情報量 = 1) - 2) = log SUB{2}; 6 - log SUB{2}; 3 = lo...
-「偶数の目」がでる確率は 1/2 なので、
選択的情報量である - log SUB{2}; (1/2) = 1 SUB{(bit)}; ...
サイコロのように、すべての事象の出現確率が均等である場合...
しかし、実際には事象ごとに、出現確率は異なります。
例えば、水[ ] の空欄を埋める問題では、水[色]や水[曜]は比...
~
***なぜ対数を使うのか
刺激・情報に対する人間の感覚は、物理量の対数をとるとちょ...
というのが対数をとる理由です。
-例えば、ひらがな2文字と4文字で、表現できる量を比較して...
--2文字(2桁)で表現できるのは、50SUP{2}; = 2,500通り
--4文字(4桁)で表現できるのは、50SUP{4}; = 6,250,000通り
ということで、4文字は2文字の 2,500倍の表現が可能です。
-しかし人間の感覚では、「4文字は2文字の2倍」という感じ。
「桁数」をそのまま情報量とする方が直感に合います。
-そこで、表現できる数について、50を底とする対数をとると
--2文字(2桁)の場合は、log SUB{50}; 2,500 = 2
--4文字(4桁)の場合は、log SUB{50}; 6,250,000 = 4
と「桁数」に戻って、人間がふつうに感じる「情報の量」に一...
-ちなみに、bit(binary digit)という単位は、2を底とする対...
2進数の世界では、N桁で2SUP{N};とおりの表現が可能なので、
log SUB{2}; 2 SUP{N}; = N bit つまり桁数がそのままビット...
~
***事例研究
RIGHT:[[関数電卓はココ>Tools]]
-コインを投げたとき・・「表が出た」という「知らせ」がもた...
可能性の数で考えれば log SUB{2}; 2 = 1 SUB{(bit)};
出現確率で考えれば - log SUB{2}; (1/2) = log &size(8)...
-音域1オクターブのメロディーで1音が担う情報量は
--7音階→8音 log SUB{2}; 8 = 3 SUB{(bit)};
--5音階→6音 log SUB{2}; 6 = 2.585 SUB{(bit)};
-1文字が担う情報量は
--英語(アルファベット):log SUB{2}; 26 = 4.7
--日本語(ひらがな):log SUB{2}; 50 = 5.644
英語を日本語に訳すと文字数が少なくなるのは、日本語1文字...
-2進数8桁 が担う情報量は、
0000 0000 〜 1111 1111 → 2x2x2x2x2x2x2x2 = 256 通り
logSUB{2};256 SUB{(bit)}; = 8 SUB{(bit)};
一般に、2進数N桁 の情報量は N SUB{(bit)}; になります。
-キーボード上にある英字、数字、記号、1タイプが担う情報量は
英字、数字、記号の総数は約200種類 log SUB{2}; 200 = 7.64...
つまり 8ビット=1バイト というのは、
欧米の人が使う文字を1つ表現するのに必要な情報量・・・に...
//冗長度 r = ( H0 - H ) / H0
//英語の場合 r = ( log SUB{2}; 26 - 1.3 ) / log SUB{2}; ...
// となり、72%が節約可能であることがわかります。
~
***情報量と感じ方
-情報量が小さすぎる:単調 退屈 おもしろくない
-''情報量が適度に大きい:なるほど! 面白い!''
-情報量が大きすぎる:複雑 難解 不快感
~
***「秩序」について
情報とは、外界から得る知識内容のことであり、
記号のセリーが担っている秩序の尺度である(N.ウイナー)。
人間は自ら秩序を作る生き物であり、また記号的に世界を
秩序立てて見ようとする生き物だといえます。
人間の作る秩序には、先行するイメージとしての設計図、
すなわちデザインがあります。
「最も巧みな蜜蜂と最も無能な建築家の違いは、
建築家が設計図にもとづいて仕事をすることである。」
P.J.Wilson(『人間-約束するサル』佐藤俊訳)
~
***秩序(情報)を捉える「知識ベース」について
あらゆる情報の認知には、「基準」や「準拠枠(Frame of Refe...
例えば、桜が美しくみえるかどうか・・・という話しでも、
それを見る者の「桜についての知識のありかた」が大きく影響...
~
***関連リンク
-[[Wikipedia: 情報]]
-[[Wikipedia: 情報量]]
-[[Wikipedia: 情報理論]]
-[[Wikipedia: クロード・シャノン]]
-[[Wikipedia: ジョン・フォン・ノイマン]]
~
~
**情報の哲学
***情報の空間性・時間性
松岡正剛(「知の編集工学」)に、有名な言葉があります。
情報は、ひとりでいられない
-我々が「情報」をどのように扱っているか、また遺伝「情報」...
-例えば、「赤」は単体では意味をもちませんが、「青」と組み...
~
***差異/言語/情報
最も基本的な「情報化」は、それに「名を与える」ということ...
言語化されてはじめてそれは情報になります。 > [[言葉とは何...
物事を「差異化」して「関係づけ」すること・・
~
***情報デザインの起源
ブレンダ・ダービン(「情報デザイン原論」)によれば、「情報...
「情報」は、無秩序でもあり、秩序でもある現実を明快に理解...
人間が考案(デザイン)した道具である。 ブレンダ・ダービン
-情報の起源 > [[イメージの起源>PrimitiveImagery]]
-[[人はなぜ「情報」を遺すのか?>History]](時間軸比較)
--[[ホモサピエンス>http://ja.wikipedia.org/wiki/%E3%83%92...
--[[人類拡散のルート>GoogleImage:人類拡散のルート]]
-[[類人猿は「情報」を扱うのか?>HomoSapiens]](水平軸比較)
--[[進化の隣人 チンパンジー>http://ja.wikipedia.org/wiki/...
--[[チンパンジーの絵>http://langint.pri.kyoto-u.ac.jp/ai/...
--[[チンパンジーの音楽>Google:チンパンジー リズム]]
//-そもそも「絵を描いて楽しい」のはなぜか?
//-喜んでいるのは「脳」?
//-どんなときに「脳」は喜ぶのか?
~
~
**情報量と視覚情報デザイン
***平面構成と情報量
&ref(Fig1.jpg,nolink,);
~
***文脈(コンテキスト)によって変化する情報量
文脈からある程度推理できる情報要素の出現 → 情報量小
文脈からは推理しにくい情報要素の出現 → 情報量大
''筆箱とペンと三角定規 ←→ 土曜日とペンと腕時計''
筆箱・三角定規に並置された「ペン」と、 土曜日・腕時計に並...
''空を見上げて ←→ 空を持ち上げて''
文脈的に推測しにくい言葉が出現するという点で、上と同様に
右の表現の方が情報量の大きな表現といえます。
~
***編集によって変化する情報量
要素が単体で存在する状態 → 情報として認知されにくい
要素を反復(リフレイン)すると → 秩序感が生まれる(人間の意...
秩序のルールが単純・強固になると → 情報量は減少する
秩序に偏移を与える(対称性を破る)と → 緊張感増大/情報量増大
偏移が激しくなると → 情報量は増大するが、それがあまりにも...
同じ情報要素(映像で言うショット)も、編集によって前後関係...
~
***身近な「情報」の情報量を上げるには?
-言葉の順序を変える 「地球の [ 水 ] 」 → 「水の [ 地球...
-物事を「斜め」につなぐ、異なる地平にあるものをつなぐ
--例)[[「ひらがな」を「洗う」>YouTube:バカリズム 洗いや...
ひらがな| で…|に…|を…|は …|が…|も…|へ…|
~
~
**関連知識
-[[N進法(位取り記数法)>PositionalNotation]] N個の記号...
-[[論理回路>LogicCircuit]] コンピュータはどうやって計算...
~
~
終了行:
*情報理論
~
情報とは、何らかの媒体を通じて発信者から、受信者に伝達さ...
情報とはわれわれに何事かを教えてくれるものであり、
われわれの不確実な知識を確実にしてくれるものである。
甘利俊一「情報理論」
~
***informationの語義・語源
-information n.
1. informすること
2. 告訴、略式起訴
-inform v.
1. 教育する、訓練する
2. 形づくる、生み出す
3. 知識を授ける、教える
4. …の特徴を与える;魂を吹き込む
5. 人に…を知らせる
-informer n.
1. 教授者、指導者
2. 通知者、情報提供者
&small(英語語源辞典,1997,研究社);
~
~
**情報量と秩序
//[[情報量>Wikipedia:情報量]]
***選択的情報量
事象Eが起こる確率をP(E)とするとき、 「事象 E が起こったと...
''情報量 = ーlogSUB{2};P(E) SUB{(bit)}; P:生起確率''
//I(E) = - log SUB{2}; P(E) SUB{bit};
情報量は、2を底とする対数で、単位は bit( binary digit :...
生起確率が低い事象ほど情報量は大きくなる。つまり珍しい話...
''もうひとつの考え方''
例えば''6通り''の可能性があるサイコロを振った場合、1の目...
ー log SUB{2}; (1/6) = log SUB{2}; 6 = 2.5849 SUB{(bit)}...
ここで、 log SUB{2}; 6 に注目します。この 6 という数字は...
''情報量 = logSUB{2};N SUB{(bit)}; N:可能性の数''
~
***平均情報量(エントロピー,シャノン情報量)
すべての事象について「出現確率 x 出現時情報量」 の平均を...
言い換えれば、選択的情報量 - log SUB{2}; P(E)の「期待値」...
平均情報量(エントロピー)といいます。
エントロピー = - ΣP(E)・log SUB{2}; P(E)
//H(P) = - ΣP(E)・log SUB{2}; P(E)
~
***エントロピーは何を意味するか
エントロピーは、簡単にいうと「わからなさ」の指標です。
結果が「どの程度予測しにくいか」といってもいいでしょう。
この概念を用いると、以下のように情報量を考えることができ...
ある「知らせ」の情報量
= はじめのわからなさ ー 「知らせ」のあとに残るわからなさ
サイコロを振ったとき「偶数が出てるよ」という「天使のつぶ...
-サイコロを振って何がでるか?の、はじめのエントロピーは、
ー Σ(1/6)・log SUB{2}; (1/6)
= ー 1/6 x log SUB{2}; (1/6) ー 1/6 x log SUB{2}; (1/6) ...
= ー log SUB{2}; (1/6) = log SUB{2}; 6 = 2.5849 SUB{(bi...
- 「偶数が出てるよ」というつぶやき(ヒント)が得られたと...
あとは2か4か6なので、あとに残るエントロピーは
ー Σ(1/3)・log SUB{2}; (1/3)
= ー 1/3 x log SUB{2}; (1/3) ー 1/3 x log SUB{2}; (1/3) ...
= ー log SUB{2}; (1/3) = log SUB{2}; 3 = 1.5849 SUB{(bi...
-3) よって「偶数の目が出た」という知らせの情報量は、
情報量 = 1) - 2) = log SUB{2}; 6 - log SUB{2}; 3 = lo...
-「偶数の目」がでる確率は 1/2 なので、
選択的情報量である - log SUB{2}; (1/2) = 1 SUB{(bit)}; ...
サイコロのように、すべての事象の出現確率が均等である場合...
しかし、実際には事象ごとに、出現確率は異なります。
例えば、水[ ] の空欄を埋める問題では、水[色]や水[曜]は比...
~
***なぜ対数を使うのか
刺激・情報に対する人間の感覚は、物理量の対数をとるとちょ...
というのが対数をとる理由です。
-例えば、ひらがな2文字と4文字で、表現できる量を比較して...
--2文字(2桁)で表現できるのは、50SUP{2}; = 2,500通り
--4文字(4桁)で表現できるのは、50SUP{4}; = 6,250,000通り
ということで、4文字は2文字の 2,500倍の表現が可能です。
-しかし人間の感覚では、「4文字は2文字の2倍」という感じ。
「桁数」をそのまま情報量とする方が直感に合います。
-そこで、表現できる数について、50を底とする対数をとると
--2文字(2桁)の場合は、log SUB{50}; 2,500 = 2
--4文字(4桁)の場合は、log SUB{50}; 6,250,000 = 4
と「桁数」に戻って、人間がふつうに感じる「情報の量」に一...
-ちなみに、bit(binary digit)という単位は、2を底とする対...
2進数の世界では、N桁で2SUP{N};とおりの表現が可能なので、
log SUB{2}; 2 SUP{N}; = N bit つまり桁数がそのままビット...
~
***事例研究
RIGHT:[[関数電卓はココ>Tools]]
-コインを投げたとき・・「表が出た」という「知らせ」がもた...
可能性の数で考えれば log SUB{2}; 2 = 1 SUB{(bit)};
出現確率で考えれば - log SUB{2}; (1/2) = log &size(8)...
-音域1オクターブのメロディーで1音が担う情報量は
--7音階→8音 log SUB{2}; 8 = 3 SUB{(bit)};
--5音階→6音 log SUB{2}; 6 = 2.585 SUB{(bit)};
-1文字が担う情報量は
--英語(アルファベット):log SUB{2}; 26 = 4.7
--日本語(ひらがな):log SUB{2}; 50 = 5.644
英語を日本語に訳すと文字数が少なくなるのは、日本語1文字...
-2進数8桁 が担う情報量は、
0000 0000 〜 1111 1111 → 2x2x2x2x2x2x2x2 = 256 通り
logSUB{2};256 SUB{(bit)}; = 8 SUB{(bit)};
一般に、2進数N桁 の情報量は N SUB{(bit)}; になります。
-キーボード上にある英字、数字、記号、1タイプが担う情報量は
英字、数字、記号の総数は約200種類 log SUB{2}; 200 = 7.64...
つまり 8ビット=1バイト というのは、
欧米の人が使う文字を1つ表現するのに必要な情報量・・・に...
//冗長度 r = ( H0 - H ) / H0
//英語の場合 r = ( log SUB{2}; 26 - 1.3 ) / log SUB{2}; ...
// となり、72%が節約可能であることがわかります。
~
***情報量と感じ方
-情報量が小さすぎる:単調 退屈 おもしろくない
-''情報量が適度に大きい:なるほど! 面白い!''
-情報量が大きすぎる:複雑 難解 不快感
~
***「秩序」について
情報とは、外界から得る知識内容のことであり、
記号のセリーが担っている秩序の尺度である(N.ウイナー)。
人間は自ら秩序を作る生き物であり、また記号的に世界を
秩序立てて見ようとする生き物だといえます。
人間の作る秩序には、先行するイメージとしての設計図、
すなわちデザインがあります。
「最も巧みな蜜蜂と最も無能な建築家の違いは、
建築家が設計図にもとづいて仕事をすることである。」
P.J.Wilson(『人間-約束するサル』佐藤俊訳)
~
***秩序(情報)を捉える「知識ベース」について
あらゆる情報の認知には、「基準」や「準拠枠(Frame of Refe...
例えば、桜が美しくみえるかどうか・・・という話しでも、
それを見る者の「桜についての知識のありかた」が大きく影響...
~
***関連リンク
-[[Wikipedia: 情報]]
-[[Wikipedia: 情報量]]
-[[Wikipedia: 情報理論]]
-[[Wikipedia: クロード・シャノン]]
-[[Wikipedia: ジョン・フォン・ノイマン]]
~
~
**情報の哲学
***情報の空間性・時間性
松岡正剛(「知の編集工学」)に、有名な言葉があります。
情報は、ひとりでいられない
-我々が「情報」をどのように扱っているか、また遺伝「情報」...
-例えば、「赤」は単体では意味をもちませんが、「青」と組み...
~
***差異/言語/情報
最も基本的な「情報化」は、それに「名を与える」ということ...
言語化されてはじめてそれは情報になります。 > [[言葉とは何...
物事を「差異化」して「関係づけ」すること・・
~
***情報デザインの起源
ブレンダ・ダービン(「情報デザイン原論」)によれば、「情報...
「情報」は、無秩序でもあり、秩序でもある現実を明快に理解...
人間が考案(デザイン)した道具である。 ブレンダ・ダービン
-情報の起源 > [[イメージの起源>PrimitiveImagery]]
-[[人はなぜ「情報」を遺すのか?>History]](時間軸比較)
--[[ホモサピエンス>http://ja.wikipedia.org/wiki/%E3%83%92...
--[[人類拡散のルート>GoogleImage:人類拡散のルート]]
-[[類人猿は「情報」を扱うのか?>HomoSapiens]](水平軸比較)
--[[進化の隣人 チンパンジー>http://ja.wikipedia.org/wiki/...
--[[チンパンジーの絵>http://langint.pri.kyoto-u.ac.jp/ai/...
--[[チンパンジーの音楽>Google:チンパンジー リズム]]
//-そもそも「絵を描いて楽しい」のはなぜか?
//-喜んでいるのは「脳」?
//-どんなときに「脳」は喜ぶのか?
~
~
**情報量と視覚情報デザイン
***平面構成と情報量
&ref(Fig1.jpg,nolink,);
~
***文脈(コンテキスト)によって変化する情報量
文脈からある程度推理できる情報要素の出現 → 情報量小
文脈からは推理しにくい情報要素の出現 → 情報量大
''筆箱とペンと三角定規 ←→ 土曜日とペンと腕時計''
筆箱・三角定規に並置された「ペン」と、 土曜日・腕時計に並...
''空を見上げて ←→ 空を持ち上げて''
文脈的に推測しにくい言葉が出現するという点で、上と同様に
右の表現の方が情報量の大きな表現といえます。
~
***編集によって変化する情報量
要素が単体で存在する状態 → 情報として認知されにくい
要素を反復(リフレイン)すると → 秩序感が生まれる(人間の意...
秩序のルールが単純・強固になると → 情報量は減少する
秩序に偏移を与える(対称性を破る)と → 緊張感増大/情報量増大
偏移が激しくなると → 情報量は増大するが、それがあまりにも...
同じ情報要素(映像で言うショット)も、編集によって前後関係...
~
***身近な「情報」の情報量を上げるには?
-言葉の順序を変える 「地球の [ 水 ] 」 → 「水の [ 地球...
-物事を「斜め」につなぐ、異なる地平にあるものをつなぐ
--例)[[「ひらがな」を「洗う」>YouTube:バカリズム 洗いや...
ひらがな| で…|に…|を…|は …|が…|も…|へ…|
~
~
**関連知識
-[[N進法(位取り記数法)>PositionalNotation]] N個の記号...
-[[論理回路>LogicCircuit]] コンピュータはどうやって計算...
~
~
ページ名: