人間と機械
情報という概念を鍵に、入力・処理・出力および記憶を行う存在としての、「人」と「機械（情報機器・媒体）」を比較考察してみましょう。
人間が、目で見て・脳で処理して・記憶するように、機械もまたカメラでとらえて・ＣＰＵで処理して・記録します。もちろん、意識をもって思考する生物である人間と、意識をもたない機械メディアとを、同じ「ものさし」で比較することはできないのですが、音楽も映像も同じ情報であるという観点で、「人」と「機械」の情報処理過程を比較すれば、普段意識されない人間の特徴、またメディアの特徴を抽出することができるのではないでしょうか。ここでは、このような観点から、「メディアの視覚」とか「メディアの記憶」といった多少違和感のある表現も常用しつつ、様々な考察を行いたいと思います。筆者の経験から言えば、このような視点に立った考察は、音楽や映像の制作に欠かせないものです。
はじめに「機械の視聴覚」と「機械の記憶」について、その特徴を概説しておきたいと思います。
「機械の視聴覚」の特徴の一つは、「感覚器（入力装置）」から「記憶（記録媒体）」へ至る経路が一本のケーブルで実現できることと、そこを通過する情報が「信号」というかたちで単独で取り出せるということです。当然ですが「人の視聴覚」ではこれはできません（視神経を伝わる画像情報を取り出してモニターで見たり、直接他人の脳と接続したりはできない。だから人は、様々な表現手段を用いて頭の中の情報を移動・複写しなければならないのである）。
「機械の視聴覚」のもう一つの特徴は、、アナログ処理系とデジタル処理系の2つが明確に分離されている（中継にはA/D変換器が必要）ということです。現在の大半のシステムでは、音や光の刺激そのものをとらえるという「感覚」レベルの処理はアナログ処理系が行い、情報を識別・解釈するといった「知覚・認知」レベルの処理はデジタル処理系が行っています。この図式は「人」の知覚システムでも同様なのですが、アナログとデジタルの境界が明確であること以外にも、信号の伝達が電気・電子的で化学物質の受け渡しが行われないこと、また一般に「トップダウン処理」がないこと、他のモダリティーとの相互作用（共感覚）がないことなども、「人の視聴覚」とは異なる特徴といえます。
「機械の記憶（記録）」についても述べておきましょう。アナログ式とデジタル式の二つがあるりますが、いずれも、引出し式であること、一回で正確に記録されること、容量に明確な限界があること、自発的動機がなく自己組織化もしないこと、情報がそのままの形で取り出せること、といった特徴をもっています（もちろん人の記憶の裏返しとしての特徴です）。
以下、これらをふまえて「人の視聴覚と記憶」の特徴を考えてみましょう。
感覚・知覚・認知
心理学の教えるところによると、我々の情報の読み取りには、感覚（Sensation）・知覚（Perception）・認知（Cognition）の3つの段階があります。
「感覚」とは、外部（あるいは体内）からの刺激に対する対象性のはっきりしない「感じ」のことです。聴覚で言うと音の大きさ・高さなど、視覚で言うと明るさ・色などがそれにあたります。この感覚については一般に、1次元刺激（音の大きさ・明るさなど）について、７±２ 段階程度の弁別能力があるといわれ、また感覚の大きさは刺激の物理強度の対数に比例する（R=c logS）ということが知られています。
さて、「機械の感覚受容器」であるセンサーや各種測量器はどうでしょうか。このような、物事を物理量で捉えるレベルの問題では、「機械の視聴覚」は非常に優秀です。それは、我々が通常「明るさ」を測ったり、「音の大きさ」を測ったりするときに、測定機器に頼ることを考えれば当然ともいえます。1次元刺激の弁別・評価に関して、正確さを必要とする場面では、人間は常にそれを機械に委ねています。
「知覚」とは、受けつけた感覚刺激により構成される対象性のはっきりした経験です。聴覚でいうと時間的な刺激の配列関係である「旋律」や「リズム」が、視覚でいうと空間的な刺激の配列関係である「形」がその対象です。知覚は、刺激の関係性によって対象化されるので、物理量に変化があったとしても関係が同じならば同一のものとみなされます。例えば、キーが変わっても同じ曲に聞こえるとか、明るさが変わっても一つの部屋を見間違うことはないということなどが、それにあたります。
さて、「機械の視聴覚」の場合はどうでしょうか。物事を関係性で捉えるということは、生命体に特有のものであって、「ボトムアップ処理」を基本とする情報メディアにはそれは難しいといえます。四角い形をカメラから入力して、それを丸や三角とは違う「四角」と判定させるだけでも、そのパターン認知処理は非常に複雑なのです。もし機械にこのようなことをさせたければ、「人」の知覚における情報処理プロセスの模倣、すなわち、知識データベースにもとづいたトップダウン型の処理システムが必要になります。
「認知」というのは、受けつけた知覚対象を記憶に照合して、自分の世界像における位置づけを行う段階です。感覚・知覚までは、他の生物でも見られる比較的低次のプロセスですが、認知のレベルは、「言語」や「文化」といった知識ベースも関与する人間特有の非常に高度なプロセスです。このレベルの処理は、他の生物や人工知能を持たない通常の機械には難しいものとなります。
ノイズ ・ かたち・ことば
私たちをとりまく刺激あるいは情報は、この感覚・知覚・認識という3段階の概念をもちいて分類することができます。まずは単なる刺激に止まるものの例として「ノイズ（雑音）」、次にかたちのレベルに止まるものとして「外国語」・「音楽」・「図形」、そして最後に言語的な意味にまで到達する「母国語」・「映像」などが、それぞれ感覚・知覚・認識の各段階に相当します。
まず感覚レベルまでの刺激情報についてですが、一般に私たちは純粋な感覚というものを得ることは難しい。なぜなら大半の刺激はすぐに秩序化されて「形」として知覚され、またそれはすぐに言語的に了解されてしまうからです。したがって、このレベルの対象となり得るのは「ノイズ」のような対象化されない刺激か、あるいは一部の「芸術的創作」に見られる「人間の自動的な『読み』を遅延させる実験的作品」のようなものだけです。人にとって秩序化して把握しにくいもの、言語化不可能な生々しさをもつものは、不快であると同時に新鮮であるという両義性をもっています。
さて次に、知覚のレベルまでのものについてですが、例えば「外国語（その内容が理解できない場合）」は、「パターンをもつ音」として聴覚に、あるいは「規則性のある図形の並び」として視覚に与えられるもので、知覚レベルまでの対象となります。外国語による歌（Voice）は、他の楽器と同様に、純粋に声という楽器が奏でるメロディー（形）として聞こえてくるし、また例えば英字新聞は細かな図形の作る模様に見えます（包装紙としても違和感がない）。秩序あるかたちとしては捉えられるのですが、言語的に何かを意味するわけではない（言い替えれば意味を求めようという欲求を生じさせない）純粋な「形」、そのようなものが知覚レベルまでの対象です。抽象的絵画や建築は、よく音楽に例えられますが、それも、それらを知覚レベルで捉えた場合の話です。
言語的に認識されるレベル（あるいは言語的な理解を要求するレベル）の情報としては、「母国語」による言語情報がその代表としてあげられます。言葉や文字は、聞く・見ると同時にただちに認識されるもので、私たちのコミュニケーションは、音声・文字の聴覚・視覚刺激から自動的に感覚・知覚・認識へと進む「読み」にささえられています。これは逆に言えば、母国語の言語情報の場合、認識された意味内容は記憶されるのですが、そのときの音声や文字の感覚・知覚レベルの情報は記憶に残りにくいということを意味します。言葉や文字を、純粋にその音や形の水準で伝えようとするには「美的」な配慮が必要となるのです。
さて、やっかいな存在が「映像」です。「映像」はそれ自体では言葉や文字を含んでいないにもかかわらず、私たちはそれを言語的に了解しようとします。たしかに、そこに映しだされるものは、私たちの現実世界に存在するものであって「名付けられるもの」であるから、言語的に認識できるのですが、しかしスクリーンに映し出される「鳩」は、私たちが街で見かける「鳩」以上（以外）の何かを意味する場合があるし、同じ「鳩」のカットでも前後のカットとの関係でその意味する内容が変わってきます。「映像」は単なる現実のコピーとは違うのです。さらに、知覚される「形」が同じでも、その解釈すなわち認識のされかたが、見る人によって様々であることを考えれば、「映像」という情報は、それを受け取る場面で意味が生成するという性質のものだといえるのです。これは、記号の「形」や「配列規則」が同じであれば、一般的にその意味が一義的に定まる（と考えられている）「言語」とは大きな違いです。
人間の記憶
人間の記憶は、コンピュータのメモリーのような「引き出し」に知識項目が一つずつ入っているというイメージでは捉えられません。詳細を後にして、先に一般的な事柄を述べると、「人」の記憶は、細胞イコール一つの記憶単位と考えるより、神経細胞同士の結合の「関係」が記憶の「構造」をかたちづくっていると考える方が、あらゆる点で説明がつきやすいのです。人間の記憶は、「複数の神経細胞が複数の事象についての情報を重層的に担う」という意味で、「ホログラム式の記憶である」ともいわれます。
人の脳は140億個ほどの神経細胞（Neuron）で構成されており、それらのシナプス（Synapse）結合によって、細胞同士の興奮の伝達が行われています。マッカロとピッツ（1943）が提唱した神経細胞のモデルによると、細胞のそれぞれは、静状態と興奮状態の2状態があって、興奮状態においては電気パルス列が出力されるのですが、この場合、ひとつの細胞の出力は、それにに結び付くシナプス（約1万個）からの興奮信号の重み付きの総和が、あるしきい値を超えるか超えないかで「1 or 0」に決まります。
したがって結合の強い（重みの大きい）細胞間では興奮状態が一斉に伝わり、結合の弱い細胞は静状態という、脳全体でみれば一つのパターンが生じます。この興奮パターンが、ある一つの概念なりイメージなりに相当すると考えられるのです。
また、興奮パターンが、自己組織化する、すなわち「人」がある事象を記憶するというプロセスをうまく説明する仮説として、ヘッブ（1949）の「シナプス強化法則」があります。その仮説によると、神経細胞が興奮する際、その細胞に刺激を伝えたシナプス結合部については、その結合がより強化され、結果としてその後の刺激は以前に増して伝わりやすくなるというのです。
この考えをふまえると、私たちの記憶では、複数の神経細胞の同時興奮パターンという「結合関係」が重要で、脳内でその興奮パターンが繰り返されるたびに（反復学習にあたる）、その「関係」がひとつの記憶単位として組織化していくと考えられます。
ただしこの場合は、記憶単位といっても、その同時興奮する細胞群のひとつひとつは、それ以外の刺激に対しても他の細胞との関係で興奮することがあるわけで、その意味では一つの神経細胞が複数の事象の記憶に関わっているといえます。これは、ある部分の細胞が欠落しても、一つの事象の記憶がすっぽり抜け落ちるのではなく、その部位に関わる記憶全体がぼやけるということをも意味するもので、人の記憶が「ホログラム」的であると言われるゆえんです。
さて、こうした知見によれば、物事は一つ一つの項目としてではなく、「関係」として一挙に構造化されて記憶されているということになります（構造主義言語学のＦ・ソシュール（1916）も同じことを言っていました）。例をあげてみると、私たちは新しい言葉を覚える際に、反対の意味の言葉や、対になる言葉とともに「二項対立」的に記憶する方法をよくとります。これは単独の項目よりも二つの対立項目で記憶するほうがその関係の問題として記憶に位置付けやすいことを意味しています。さらに言えば、私たちの日常的な用語には単独では用をなさない「上」とか「左」とかいう概念があって、辞書の「左」の項には「右の反対」、「右」の項には「左の反対」と記されており、要するに関係の問題でしかない概念も多いのです。
機械の記憶
はじめに触れたように、機械の記憶動作は、直接的・間接的な指示による1回の動作で行われるもので、その記憶の状態は「引き出し式」で正確です。さらに言えば、そこには自発的な「動機」は必要なく、「反復学習」も必要ではありません。そして人間との違いで強調されるべきことは、それが自己組織化しないということです。情報機器の典型であるコンピュータのふるまいを見れば、これらの事は一目瞭然でしょう。
さてここで、人間の学習や記憶のモデルを応用した人工知能のプログラム、すなわち一般的な機械の記憶とは異なる、人間に近い仕組みを持った記憶について簡単に紹介しておきましょう。ここで触れるのは、学習認識装置「パーセプトロン」（F.Rosenblatt,1960）と、連想記憶装置「アソシアトロン」（Nakano,1969）というもので、マッカロ・ピッツの神経細胞モデルとヘッブの法則を応用したモデルですが、これらは「人」の学習・記憶をうまく説明するモデルとして興味深いものです。
パーセプトロンは一般に小脳の記憶モデルとして知られますが、その仕組みは、神経細胞群にあたる複数の素子の興奮パターンを入力として、その刺激が何であるかを識別し、結果を出力細胞に相当する一つの素子の興奮の有無によって得る、というものです。出力素子には複数の素子からの「シナプス」が結合していて、それらからの入力の重み付き総和が出力を決めます。学習はこの結合の各々の重みを修正していくことで行われるのですが、具体的には、あるパターンを入力させて、その識別結果が正しければなにもしないが、間違えた場合はそれに関与したシナプス結合の重みと出力素子の判定のしきい値を「間違った判定をおこしにくい方向へ」修正します。これを繰り返す（反復学習）うちに、同じ間違いをしなくなる、すなわち正しい識別ができるようになるというものです。その際、入力のパターンの与えかたと判定の修正が上手であれば、すなわち「良い教師」につけば、短時間で識別能力がつきます。この人工知能は「人」の記憶システムのモデルであるから、間違うこともあるし、教え方の上手下手も関係することになります。
一方、アソシアトロンは、入力が複数の素子の興奮パターンで与えられる点はパーセプトロンと同じですが、すべての素子についての相互の結合強度が、同時に興奮している細胞間で正の方向へ、興奮している細胞としていない細胞の間では負の方向へ（排他的に）修正されるという点がその特徴です。刺激パターンの入力の度にこの操作（記銘）を行うとすると、入力パターンごとにそれに関与する（そのとき興奮状態にある）素子同士の結合が強化されることになります。
こうして出来上がった「結合強度情報をもった細胞群」に対して、「ある細胞が興奮すると、それと強く結合している細胞が同時に興奮する」ように動作させると、一部の興奮から記憶されている興奮パターンが再現されることになります。これが「なにかをきっかけに全体を思い出す」ことであり、「ある事象の記憶から、それに近い事象の記憶が想起される」ということです（連想記憶モデルと言われるのはこのためです）。
このモデルでは、複数の神経細胞群が全体として複数の事象を重層的に記憶しており、きっかけとなる部分的な興奮の与え方で、うまく全体のパターンが想起されたり、よけいなものまで同時に想起したり、あるいは異なるパターンがあざやかに浮かび上がったりします。そのふるまいはまさに「人」の「記憶の呼びだしかた」そのものです。
記憶の過程
さて、おおまかに「人」の記憶とそのモデルとしての人工知能の発想について述べてきましたが、さらに人間の記憶の過程についても触れておきましょう。
心理学の知見によれば、人間の記憶には複数の領域・段階があり、それぞれ、感覚登録器（sensory resister）・短期記憶（short term memory）・中期記憶（middle term memory）・長期記憶（long term memory）と呼ばれています。
感覚登録器は、視覚で1秒以下、聴覚で数秒の記憶で、聴覚刺激・視覚刺激などの感覚刺激をそのままのパターンですべて記録するといわれます。瞬間的に目を見開いて閉じたときに「目の前の情景が焼き付いている」という感じがするのがそれです。しかしこの情報は次々に捨てられる運命にあります。
短期記憶は、感覚登録器の内容から知覚された意味のある情報を数分という短い時間の間記憶する領域で（同時に記憶できる項目数は７±２程度）、ここで「興味をもって理解する」といったことが伴えば、次の中期記憶に送られます。
中期記憶は、脳内の「海馬」に１時間から最大1ヶ月程度保持される（大半は９時間ほどで消滅する）記憶で、この間に複数回のアクセスを受けたものが重要なものとして「側頭葉」に送られ、それが最終的に長期記憶になると考えられています。
長期記憶にはさらに、宣言的記憶（言葉で記述できる事実に関する記憶）と手続記憶（クルマの発進のしかたなどの手続きに関する記憶）との区別があり、宣言的記憶はまたさらに意味記憶とエピソード記憶に分けられます。前者は反復学習による体系的な知識ベースで徴標（どこで覚えたかという情報）のないもの、後者は特定の時間・空間に関する具体的な体験の記憶です。ちなみに「記憶を失う」という場合は、大半がこのエピソード記憶の喪失です。
記憶と想像力
ここで、このような記憶に関わる、いくつかの身近な問題を考察してみましょう。
はじめに、「記憶の容量」についてです。「機械の記憶系」の場合、記憶が「引き出し式」であることから、おのずと限界が生じるのですが、人の「ホログラム」式記憶の場合は、どこまでが限界というものではなく、知識の構造化が能率的であればあるほど、より多くのことを記憶できます。人の脳細胞の数はほぼ同じで、実際にはその数%しか働いていないという報告とあわせれば、「頭のよい人」というのも「容量」の問題ではなく、知識の構造化がうまいかどうかの問題であるといえるでしょう。例えば、ある社会現象を説明するモデルが、過去に学んだ物理現象を説明する数式モデルと似通っていると気付いた場合、その知識はパラレルに重ねあわせながら記憶（既存の神経細胞の結合関係が流用）されるわけで、この場合の記憶は能率的です（実際、学問に興味をもった場合、このような学習の転移がおこることは多い）。ある分野について学習すると、異なる分野の知識の飲み込みも早くなるのはそのためです。
次に「記憶の正確さ」についてですが、「機械の記憶」は当然与えられた精度の範囲で正確に再現されるもので、なんらかの障害によって間違う場合は、もとの情報は見る影もないというのが普通です。一方、人間の記憶は、基本的な言葉の意味や日々の生活に関わる範囲では正確ですが、そうでない部分については、あいまいであるか、欠落しているか、まちがった記憶になっているかのいずれかです。これも結局は、記憶の構造が「ホログラム」式であることに由来するもので、新しい情報が記憶を再構造化する過程で、言い替えれば、神経細胞同士の結合関係があちこちで強まったり弱まったりする過程で、古い記憶に関する結合が弱まって薄れたり、あるいは別の記憶に関わる部分の結合関係を変えてしまったりするということで説明がつきます。
最後に「進歩」という観念について。上述したことのくりかえしになりますが、新しいことを覚えるということは、過去の記憶の「関係」を修正することで、これはすなわち「何かを覚えるとき、気付かぬうちに何かを忘れている」ということを意味します。人は成長する過程で確かに新たな知識を蓄えていくように思えますが、これは「知識を確実なものにしていく」というということで、神経細胞のレベルで言えば「頻繁に駆動する一部の知識・思考回路に関してはその結合が強化されて、その他の結合は断ち切られていく」、簡単に言えば「頭が固くなる」・「思考がワンパターン」になるということなのです。
なにも知らない子供が、ユニークな発想で大人を笑わせたり、すぐれた想像力を発揮したりするのは、このことの裏返しといえるでしょう。
その意味では「進歩」は幻想であり、人の社会化（大人になること）とは、あらゆる可能性の放棄の上に成り立っていると言うこともできるのではないでしょうか。
一面的な見方で、人の脳に優劣がつけられないことは言うまでもありません。
「情報への構え」と「視聴覚の相互作用」
一般に、「耳」はマイクに、「眼」はカメラに対応させて考えることができるのですが、ここで、「人」と「機械」の決定的な違いである「情報への構え」の問題と「視聴覚の相互作用」の問題をクローズアップしてみましょう。
情報への構え
「情報への構え」とは、簡単に言うと、情報を見聞きする場合の「予備知識」や「先入観」がつくりだす心的状態です。 私たちは通常、「今からどんな情報が送られてくるか」についての予備知識や先入観を持っています。それらは送り手に関するものであったり、情報の属性や内容についてであったりと、様々な側面がありますが、これが情報の読み取りに大きく関わってくるというのが、「機械」の場合にはない「人」特有の現象です。
ボトムアップ（データ駆動型処理）とトップダウン（概念駆動型処理）という概念をもちいてくりかえすと、私たち「人」が情報の読み取りを行う場合は、ボトムアップがすべてではなく、自分の知識ベースを手がかりに「こちらから予測をつけながら情報を迎えにいく」というトップダウンがそれに関わっていると考えられます。これは読み取りの大半をボトムアップに依存する「機械」とは大きな違いです。
例えば、多義的に解釈可能な図形（ルビンの壷など）でも、人は「情報への構え」のありかたしだいで、無意識的に一つの「読み」を選択し、他の解釈を捨てます。また例えば、話を聞くという場合も、風景を見るという場合も、私たちは日常的な経験から、時間的に次にくる「音」や、空間的にその周囲に見えるはずの「形」を事前に予測できるのが普通であり、送られてくる情報を「こちらから迎えにいく」というかたちでスムーズに（ある意味では惰性的に）処理することができるのです。いずれの例も（人工知能を除く）機械には無縁の話です。
視聴覚の相互作用
次に「視聴覚の相互作用」についてですが、マイクやカメラといった「機械の視聴覚」の場合、音と映像を同時に記録するにせよ、音は音専用の領域に、映像は映像専用の領域に記録されます。音と映像は相互に干渉しあうことなく、独立に処理・記録されるのです。ところが「人の視聴覚」では、聴覚中枢と視覚中枢の区別はあるものの、音と映像の独立性は完全ではなく、感覚のレベルでの色聴現象をはじめ、優位なモダリティーへの統合、読み取り支援、干渉による異次元の感覚情報の生成など、様々な相互作用があります。
例えば色聴。これは「音を聞くと色が見える」すなわち音程と色相とのあいだに感覚的な結びつきが見られる現象で、カール・ジーツ（1931）の説によると、おもちゃのピアノのように、ドレミ・・の音階が赤橙黄・・に結びつくというタイプのものもあります。
また例えばテレビ。音と映像が複合した情報は、時間的には聴覚が優先し、空間的には視覚が優先するかたちで、一方が他方に追随・融合するかたちで捉えられます。例えば、アフレコされた足音と素材映像の足の動きが合っていない場合でも、足音に映像がなじむように違和感なく捉えられるし、また逆に、ニュース解説者の口元（画面上）には実際の音源（スピーカ）がないにも関わらず、音はそこから聴こえているかのように捉えられます。前者は音のリズムの問題で聴覚が優先している例であり、後者は空間的な位置の問題で視覚が優先している例である。いずれにせよバラバラに与えられた音と映像は、自然に一体となって捉えられるのです。
さらに、遠くで会話する2人を双眼鏡でクローズアップして見ると、声まで聞こえる（正確には聞こえやすくなる）という例があります。視覚からの情報がトップダウン的に聴覚に作用して、話者の音声が分離しやすくなった結果と考えられます。これは、騒がしい状況のなかで、特定の人物の声のみを聞き分けられるという「カクテルパーティー・エフェクト」などと同様に、視覚が聴覚の読み取りをサポートしていると考えられる現象です。
私たちは、視覚と聴覚のこのような相互作用を、「あたりまえ」と感じていたり、あるいは気付いていなかったりするのですが、音楽や映像の制作においては無視できない問題です。
視聴覚の惰性化と日常性
私たちの世界は、日常的で予測可能な出来事のくりかえしであり、「予期せぬ出来事」というのはその言葉どおり非常に小さな確率でしかおこりません。たとえば、電車を待つホームにセスナ機がすべりこんでくるとか、机の引き出しを開けたら魚が泳いでいるなどということは、まずあり得ないことであって、もし日常がそうした予測のつかない事態の連続であれば、私たちのトップダウンは効力を失い、すべてを視聴覚のボトムアップに依存せざるをえなくなります。おそらく人はそのような状況に長くは耐えられないでしょう。
私たちはこの世界の日常性（予測可能性）ゆえに、情報の読み取りに際して部分的なボトムアップだけで状況を理解し、スムーズに世界に適応することができるのです。
しかし一方で、この日常性は、人の情報の読みを惰性化させてしまうものでもあります。そのせいで私たちは、はじめて何かに出会った時の新鮮な感覚や、物のもつ物質的・具体的な存在感を、意識下に埋没させたまま、その多くを忘れ去ろうとしています。
街のノイズに聞き過ごしたもの、街の路上で見過ごしてしまったもの。埋没した情報をゆさぶりおこすには、すべてをボトムアップ的に吸い上げる「機械の耳」・「機械の眼」が必要です。
補足
トップダウンとボトムアップ
情報の入力に際し、脳の知識ベースを利用して刺激を待ち受ける、つまり、上から下へ降りてくるプロセスをトップダウンプロセス（概念駆動型処理）、逆に刺激情報が目から脳へと上がっていくプロセスをボトムアッププロセス（データ駆動型処理）といいます。
共感覚
音を聴くと色がみえる（色聴）場合や、「黄色い声」という表現など、ある感覚が他の領域の感覚と関係をもつ場合をいいます。
感覚遮断
あらゆる刺激が0あるいはコンスタントな空間で、自らも安静にすることを感覚遮断といいますが、私たちは常に何らかの刺激を受けながら生活しているため、そうした極端な実験空間に長時間おかれた場合、耐えられなくなってしまうか、または幻覚などの異常な心理現象を生じます。
人間や動物は本来刺激のないときに刺激を求めようとする「知覚欲求」をもつ生き物です。快適に安らげる空間とは、とりあえず無刺激・無感覚の空間ではないことがわかります。
７±２
人間のセンサーとしての限度を物語る数字ですが、日常の刺激は多次元的であるため、実際にはさらに弁別能力は上がります。
ちなみに、７±２というのは短期記憶に関する話にも登場します。一般に人の短期記憶の容量には限界があって、一度に覚えられる項目の数は７±２程度であるというものです。Ｇ・Ａ・ミラー（1956）はこれを「マジカルナンバー７」と呼びました。小説やマンガの主人公がいずれも７人程度であるというのも、このことと無関係ではありません。
記憶単位
細胞が一つの単位になっているという例としては「顔細胞」や「手細胞」というものが知られています。これはサルの実験で明らかにされたもので、「顔（目が必須）」や「手」という視覚刺激に対して特異的に反応するニューロンのことです。身振りに関して述べたように、私たちにとって「顔」と「手」は特別な存在といえます。
細胞の数
小脳には1000億以上のニューロンがあります。「頭で覚える記憶」は大脳皮質、「体で覚える記憶」は小脳、というふうに考えられています。
組織化
脳ほど細胞が活発に変化するところはありません。特に樹状突起を伸ばして他との接合関係を更新するという活発な動作には、がん遺伝子のようなものが関わっているともいわれます。脳は遺伝とはあまり関係がないようにも見えますが、実はタンパク質をつくる遺伝子の大半は脳で発現しています。脳の中では常時ＤＮＡが活動し、大量の化学的プロセスが高速で行われているのです。
ホログラム
３次元の空間情報を２次元の板に記録するもの。空間領域の情報を周波数領域の情報に変換して記録するため、板そのものには形は見えませんが、参照光をあてると像が再生します。板の一部（特定の周波数領域）が欠落してもボケる程度で情報が完全に消滅するわけではありません。あらゆるものが重層的に記録されるという意味で脳の記憶に例えられます。
右脳と左脳
私たちの体は対側制御、すなわち体の左半分を右脳、右半分を左脳が制御しています（左視野は右脳、右視野は左脳に入ります）。また感覚的・空間的・音楽的な情報処理を右脳、論理的・言語的な情報処理を左脳、というふうに、右脳と左脳ではそれぞれタイプの異なる処理がなされています。右脳が活発に動く人と左脳が活発に動く人では、情報の受け止め方や、発想の仕方が異なることが予想されるのです。もちろん左右の脳は連携しているのですが、言葉・音楽・映像の受取り方には「右からささやかれたか、左からささやかれたか‥」と同様の問題が無関係ではありません。
ちなみに、子音+母音の音声（『か』=K+A）を用いる日本人は、子音中心の言語を用いる西洋人と比較して、左脳（言語脳）で処理される音声の種類が多く、このことが「虫の音（母音と構造が似ている）をも文学的な素材とする」日本人特有の文化を作り出したとも言われています。
記憶違い
連即記憶モデルに関連して述べたように、私たちの記憶は、連結の状態があいまいになると、複数のイメージが渾然となって想起されてしまいます。
「このあたりにこんなものがあったはずだ」という、本人にとっては鮮明な「昔の旅先での記憶」も、それが長い時間のあいだに複合・再編された記憶である場合もあるのです。
マガーク効果
マガーク(1976）の実験は、視覚と聴覚の相互作用を説明するものとして有名です。それは、「が」を発音する口の動きを視覚的に見せ、同時に「ば」の音を聴覚的に聞かせると、被験者には「だ」と捉えられたというものです。
「空のマッチ箱を振ると音が聞こえる（袖の中に中身の入ったマッチ箱が隠されている）」という手品も同様で、視覚情報（「振る」という動作）に聴覚が誘導された（心理的に音源の位置が移動した）ものと説明できます。
視聴覚のズレ
音楽番組などで、実際には演奏していない「クチパク」シーンの場合でも、通常は音楽を聴く聴覚が優先して、全体が違和感なく捉えられるのですが、歌っている「顔」や、楽器を演奏する「手元」がアップになると、視覚情報処理の活性が上がって視聴覚のコンフリクトが生じます。そうなると「合っていない」ということがすぐにバレてしまいます。