LogoMark.png

視聴覚情報論/2020/0708

第11回 画像・音声の生成と出力

視聴覚情報論/2020 2020.07.08

前回の講義:視聴覚情報論/2020/0701

第11回目の展開と要件



以下、目次を見て本日の講義の全体像を把握してから、順に読み進めて下さい。



本日のメニュー


情報量が多いかもしれません。基本的に関心のある部分を読んでいただいて、みなさん自身が考えるきっかけにしていただければOKです。授業の最初にもお話ししたとおり、この講義は暗記式の試験はなく、みなさんが考えるきっかけを提供することが目的なので、授業の内容を覚える必要はありません。

はじめに

人は自らに備わった音源(声帯)を利用して音声を発することができますが、「光」を発することはできません(人は音源をもっていますが光源はもちません)。したがって、私たちが情報を「生成・出力」するという場合は、音とビジュアルイメージとでは、その生成の仕方に違いが生じます。今回は、この情報の生成と出力について、視覚情報と聴覚情報に分けてお話します。

==第11回 画像・音声の生成と出力|2020.07.08==
===手描きとCGの違い===
* ◯◯◯◯◯◯、◯◯◯◯◯◯◯◯◯◯◯◯、◯◯◯◯◯◯◯◯◯。
* ◯◯◯◯◯◯◯◯◯、◯◯◯◯◯◯◯◯◯◯◯◯。
<br>
===生楽器とシンセサイザーの違い===
* ◯◯◯◯◯◯、◯◯◯◯◯◯◯◯◯◯◯◯、◯◯◯◯◯◯◯◯◯。
* ◯◯◯◯◯◯◯◯◯、◯◯◯◯◯◯◯◯◯◯◯◯。
<br>
<br>




1. 身振り

ペンをもつこともできない乳児が最初に発信する視覚情報、それが身振りです。
 ミラーニューロンという概念がありますが、それは「他者の身振りはイコール私の身振りである」ということを説明する概念です。人間が他者の行為を見る際の脳の状態を調べると、自分自身がその行為を行う場合と同様の部位が興奮しています。つまり人の身振りというものは、見る人を同一の感覚に駆り立てる視覚情報であり、ただ単に「体の動く形が見えている」という以上にコミュニケーションを体感的なものにする特殊な視覚情報だと言えます。ビデオ映像でもあくびがうつります。身振りは、それが映像に映し出された人物のものであっても、非常に重要な情報を担っています。
 さて、身振りという視覚情報の中でも最も重要なのは、「手の動き」と「顔(まなざし)の動き」です。このことは、手品師の動作を見ればよくわかります。観客は手品師の行う指差し動作や、小道具を見つめるまなざしに最も誘導されやすい。アニメ・キャラクターの動き、パントマイム、手話、いろいろな表現を思い出してみて下さい。身体を情報源とした視覚情報の大半はまなざしと手の動きが担っています。
 蛇足ですが、視覚情報には照明が必要です。身振りも当然「光の下」でなければ見えないし、光の方向が変われば印象も変化します(能面)。立体である身体(顔)も、形と照明の両方に依存した視覚情報です。



2. 音声

人は声帯を振動源として(男声約110Hz〜・女声約220Hz〜)、また喉から唇までの声道を共鳴腔として、複雑な音声を構成して情報を発することができます。
声帯は声の基本周波数を決め、声道(特に口の開きぐあいと舌の位置)が共鳴の性質を決めます。例外として、ささやき声の場合は声帯は振動せず、空気の流れを雑音源として共鳴のみで音を作っています。そしてもちろんその情報の大半は、話し言葉としての言語情報です。

我々は通常、話し言葉を構成する音節を単独に生成・識別することができます。
つまり音韻的な音色についての絶対音感をもっているわけで、たとえば日本人の場合、約100種類の日本語の音節による音韻体系をもって、言語情報を生成処理しています。参考までに述べると中国では400 以上、英語だと3000 以上と言われます。

この話し言葉の単位音節の生成・識別には、特に母音のホルマント(Formant、音を特徴づける成分音)の存在が重要で、例えば「イ」の音では 300Hz と2000Hz、「エ」の音では500Hz と1700Hz の成分が特に強いというような特徴があります。歌声(Singing Voice)の場合も、この特徴成分の発振を保持すれば、音程とは無関係に「イ」・「エ」の発声ができるというしくみです。
 その意味では歌声は、一種の楽器として捉えた場合、音の出しかたの自由度が大きい、非常に可能性の大きい楽器であると言えます。

我々は、このような音韻体系を聴覚系の形成と並行して(遺伝的ではない)習得し、生後18ケ月ごろにはほぼその基礎的な生成・識別能力を獲得しています。



3. 画材

次に、人間が最も古くから一般的に用いているイメージ生成の手段について確認しましょう。いわゆる画材による絵画的な画像の生成です。

3.1. 鉛筆・色鉛筆

鉛筆は、我々にとっては、筆記具として最もなじみ深い存在です。 木製の軸のなかに黒鉛を主成分とする芯を埋めこんだもので、工業製品として世界的に知られるようになるのは18世紀ドイツのバヴァリア鉛筆から。現在、9Hから6Bまで17種類の硬度のものがあって、これは描線の反射率(すなわち黒さ)によって分類されています。
 一方色鉛筆は、色彩表現に用いられる画材のとして最もポピュラーなもので、一般的には、硬質(ルモグラフ等グラフ作成や製図用)・中硬質(一般的な絵画デザイン用)・軟質(ダーマトグラフ等マーキング用)の3段階があります。
 芯の形成は、鉛筆の場合、微粉砕された黒鉛と粘土を練り合わせ、脱水、押し出し成型、乾燥、焼成、油脂・樹脂の含浸の手順で行われます。色鉛筆の場合は、着色成分として黒鉛のかわりに白亜・アルミナを染料で着色したものや着色合成樹脂などが用いられる点と、高温での焼成を行わない点が異なるだけです。

3.2. パステル

パステルは少量のメディウムに顔料を混ぜ圧力をかけて固めたもので、そのアイデアは17世紀ごろに生まれ、18世紀のはじめにはパステル画というジャンルでパリを中心に普及しました。
 メディウムの濃度の差で、ソフト・セミハード・ハードに分類され、色名と明度番号(0から8の階級)で特定できます。
 パステルはメディウムが少ないため、色が鮮やかで、そのものの色と紙に塗ったときの色に差がないといった長所がありますが、一方で混色が難しい、定着力がないなどの短所もあります。
 尚、オイルパステルは、1925年に「クレパス」の名前で登場した日本発祥の画材です。クレヨンの主原料である顔料と蝋に液体油を加えたもので、軟らかく定着力も高い画材です。

3.3. インクとペン

インクの原型は、油煙を膠やゴム質などのメディウムに混合したものです。 それは中国・日本など東洋地域では墨汁として古くから利用されてきたものですが、ヨーロッパでは、古くは主な成分に木材のタールを用いる「ピスタ」や、コウイカの墨をベースにした「セピア」なども用いられていました。12世紀以降は主として「ブルーブラックインク」(空気に触れて酸化すると青黒く変化する化合物溶液)と呼ばれるもの、今日ではカーボンを水に溶かしてつくる「ブラックインク」や水溶性染料による「色インク」が使用されています。
 ヨーロッパで発達したペンは(鳥の羽根(pan) に由来する)このインクを鋼鉄のペン先につけながら描く筆記具で、アルファベットの書体はこの「ペン」で描くための線であるとも言えます(アジアにおける毛筆と漢字、ヨーロッパにおけるペンとアルファベット、情報を記録するメディアはそうした文化の根源的な部分にまで大きく影響しています)。
 ペンの形態には、一定の太さで描くのに適した標準的な「かぶらペン」、漫画家がよく利用する「Gペン」、製図やテクニカルイラストレーションに利用される「丸ペン」などがあります。

3.4. 絵具と筆

水彩・アクリル・油彩などに大きく分類されるのですが、基本的には顔料は同じで媒質がそれぞれ異なると理解すればよいでしょう。
 水彩絵具は、18世紀後半からイギリスを中心に広まったもので、メディウムとしてはアラビアゴムが利用されますが、メディウムに対する顔料の割合や顔料の粒子径をコントロールするなどして透明性を変化させて、透明水彩・ポスターカラー・グワッシュなどと区別します。 透明水彩はその名のとおり透明性が高く、重ね塗りをすると下の色が透けます。 ポスターカラー・グワッシュはともに不透明ですが、その差は、グワッシュのほうが品質が高く、粘性が高いといった点にあります。
 アクリル絵の具は、ビニル絵具などと同様に合成樹脂をメディウムとするもので、1930年代ごろからの壁画創作運動に関連して発達しました。 絵具の接着力が強いため、紙以外でも布・木版などの吸収性のある媒体が相手であれば描画が可能で、また調整剤によって様々な表現効果を得ることができるため、その応用範囲は広くなります。
 油絵具は、植物性の乾性油をメディウムとするもので、一般に溶剤の調合によりその乾くスピードをコントロールしながら様々な表現効果を得ます。15世紀のヨーロッパにおいて考案されたと言われ、はじめは白の地塗りをした板に描いていた(ファン・アイク)が、17世紀後半になるとキャンバス(画布)に描くのが主流となって、今日のスタイルが確立しました。
 さて、筆ですが、これは中国では文字の歴史とともに、ヨーロッパでは美術の歴史とともに発達しました。 今日では洋画用の筆として、フラット(平筆)・フィルバート(筆先が楕円)・ラウンド(丸筆)・ファンブラシ(扇筆)などの区別があって、日本画用としては平筆(平塗り)・削用筆(一般の線描)・面相筆(細線描)・則妙筆(墨描き)・彩色筆(彩色)・隈取筆(ぼかし)といった区別があります。

3.5. マーカー

上記以外にも現在多くの画材があって、俗にマジック・フェルトペンなどと呼ばれるマーカー(1949年アメリカで最初に発売。油性と水性の区別がある)、ドローイングペンなどの様々な筆記具、またインスタントレタリング・スクリーントーンなどの転写型の画材、カラーペーパー・グラフィックテープといった直接貼るタイプのものなど、用途に応じて使い分けられています。


3.6. キャンバス・紙

キャンバスは、麻布にニカワを塗って乾燥させ、その上に白く地塗りをほどこしたものです。肖像・静物画(F)、風景画(P)、海景画(M)、正方形(S)など縦横比の違いで区別があり、そのサイズは号数で表わされますが、紙のように倍々で考えられる単位ではないため注意が必要です。ちなみに100号がほぼ等身大の大きさです。

紙は、一般に和紙と洋紙とに分けられますが、絵を描く場合や、印刷が前提となる場合は洋紙を用います(和紙はその耐久性から、長期保存すべき文書に用いられる他、障子・襖・照明器具など建築・工業デザインの材料としても用いられています)。洋紙は、その原料として、植物から抽出したセルロース繊維の集合体すなわちパルプを用います。パルプには機械パルプ(原木を機械的にすりつぶしたもの)と化学パルプ(圧力釜で薬品で煮てつくる)ものがありますが、その製紙のプロセスなどによっても様々に分類されます。

さて、ここで紹介したような画材は、今日どこでも手に入るものですが、逆にそのことが、我々の創作活動を惰性的にしていることも否めません。例えば、よく見かけるB1のパネルや、A4のケント紙。これらはルート2矩形(縦と横の比が1:1.414)といわれますが、この矩形を皆が美しいと感じているわけではありません。この縦横比は、半分に切っても同じ縦横比の矩形となりサイズのシリーズ化がしやすい、つまり工業的に都合の良い比率であることがその普及の大きな理由です。そう考えると、一枚の絵を描くのにこの比率に縛られる必要はないということがわかります。商業的なデザインワークでは予算や流通の問題から結果的に標準的な「規格もの」に依存せざるをえませんが、モノ作り一般においては、既製の版形や各種材料・道具といったものから、もっと自由になっていいのではないでしょうか。画面は丸くてもよいし、また紙である必要もない。ペンの代わりになるものなどいくらでもあるし、植物の葉やワインでも色は染まるのです。画材の歴史をふまえた上で、あえてそれを遡ったり、路線を踏みはずしてみたりすることも、新たな発想への契機として大切なことといえるでしょう。



4. 楽器

楽器(生楽器)は、弦振動や気柱管振動を利用して周期的な振動波を放射するものと、衝撃による自由振動波を放射するものとに分類されます。前者はいわゆる「楽音」として旋律や和声を形成するメロディー楽器群を意味し、後者は(振動に周期性がないため「音程」をもつことができない)「非楽音」を発生するリズム楽器群を意味します。

さて「ピアノ の音色」とか「バイオリンの音色」とか言う場合の音色ですが、これは時間軸上にグラフ化すれば「波形」として、周波数を軸としてグラフ化すれば、スペクトルパターンとして物理的に捉えることができるものです。

我々の耳が聴き分ける楽器の音色というものは、基本周波数とその倍音列*1の強度分布によって特徴づけられるもので、電子楽器がピアノに似た音やギターに似た音を生成する場合も、この倍音の分布パターンを様々な方法 でコントロールすることによってそれが実現されます。

以下、一般的な分類(管楽器・弦楽器・打楽器)にしたがって概説します*2

4.1. 弦振動と打弦楽器・撥弦楽器・擦弦楽器

一般に弦の振動周波数は f = √(T/m)/(2L)で求まります。Tは張力、mは単位長さあたりの質量、L は長さです。この式の意味するところは、弦長 L が長く、また単位長さあたりの質量 m が大きい(つまり弦が太い)ほど周波数 f は低くなり、張力 T が大きいほど周波数 f が高くなるということです。身近な楽器であるギターをイメージすると理解 しやすいでしょう。弦が細いほど、弦を強く巻くほど音程は上がります。また、ギターの12フレット目は、弦の長さの半分の位置にあります。よって周波数は2倍、つまり音程が1オクターブ高くなります。

弦振動は、基本振動以外にもその2倍(中央に振動の節)、3倍(1/3のところに振動の節)‥といった倍音を含むことで様々な音色を作り出します。したがって弦楽器の音色は、振動の腹や節の位置に関わる「弦をはじく場所」や「弦に触れる場所」を変えることで様々に変化させることが可能です。

弦楽器はこのような弦振動により音を生成するのですが、弦そのものは表面積が小さい(すなわち放射抵抗が小さい)ため、直接大きな音を出すことはできません。そこで、この弦の振動を駒(ブリッジ)を介して共鳴板に伝え、この板を強制的に振動させることによって音を放射させます。
 いわゆるアコースティックな弦楽器では、この共鳴板が適当な容積をもつ箱に結合して、箱の中の空気をも共鳴させるかたちで音を放射しています。エレク トリックな弦楽器の場合は、弦と共鳴板(ソリッドボディが大半)の振動を、電磁形変換器やピエゾ抵抗変換器などで電気的な振動に変換して利用します。いずれの場合もボディの質量・形状・材質などがその音質に大きく影響します。

4.2. 気柱管振動と管楽器

開管の共鳴周波数は、最も低いもの(基本周波数)が、 f = c /(2l) で、この整数倍の周波数の発振が可能です。c は音速、l は管長であり、管長が短いほど共鳴周波数は高くなります。(閉管の場合は f = c /(4l) で、この奇数倍の周波数が発振可能)。

管楽器の振動は、基本的には息を吹き込むという直流エネルギーの供給によって持続する振動で、これを自励振動といいます(自励振動は管楽器の他、バイオリンのような擦弦楽器にも見られます)。

管楽器はその大半が両端が解放された開管で、気柱の縦振動が音源となり、指孔や管端から音波を外部へ放射します。管の一端には直流のエネルギーを振動エネル ギーに変換するきっかけをつくるリード(Reed)が必要で、その種類によってエアリード楽器・ダブルリード楽器・シングルリード楽器・リップリード楽器 に分類されます(ちなみに、シングルリード楽器は閉管とほぼ同様で奇数倍音列の発振となります)。

一般に、リップリードの楽器を金管楽器、その他を木管楽器といいます(金管と木管の区別は振動源によるもので、材質の違いではありません)。

4.3. 剛体・膜の振動と打楽器

すべての「物」は力学的な衝撃を加えると振動し、音を出します。弦や管が発生する「楽音」以外のこの衝撃音はみな「非楽音」で、打楽器はこれを原理としています。一般に体鳴楽器と膜鳴楽器に分類されますが、前者の振動体は棒・板・塊、後者の振動体は膜です。それぞれ例えば、トライアングル・シンバル・鐘・カスタネット・ウッドブロック、ドラム・鼓などが、それに該当します。

この種の楽器が発生する「非楽音」は、周期性のない振動を基にしていて、音程は特定できず、スペクトルパターンも広範囲の連続的な分布かあるいは非整数倍の成分を多くもつ離散的な分布をなします。「楽音」のように整数次の倍音が並ぶものではないため、いわゆる和音も濁ったものになります。

4.4. 特殊な音響楽器

4.5. 電気楽器

楽器の作る振動を、ピックアップ等で電気信号として取り出し>処理>出力・・という仕組みを持つ楽器を「電気楽器」といいます。

4.6. 電子楽器 テルミン

1919年にロシアの発明家レフ・セルゲーエヴィチ・テルミンが発明した世界初(?と言われる)の電子楽器です。2本のアンテナを利用し、空間中の手の位置によって音高と音量を調節して演奏します。僅かな静電容量の違いが反映するので、安定した演奏は難しく、一般的な音楽に利用されることは稀です。

5. コンピュータ・グラフィックス

コンピュータ・グラフィックスは、画材によるイメージ生成とは異なり、「数値データから自動的にイメージが生成される」という特徴 をもっています。

数式がつくりだす抽象的なパターン、生物・物理・化学におけるミクロ・マクロな世界のふるまい、カメラでは撮影不可能な架空の世界の構築など、CGの登場によって、より豊かなイメージ生成が可能になりました。

CGの歴史は、サザランド(1963)によるスケッチパッド(対話型の描画ツール)の開発にはじまり、その後、図形の描画のための各種アルゴリズムの確立 と、それに関連するハードウエアの進歩が相まって、現在では、建築・工業・出版・芸術・娯楽映像・ゲーム・Web と、わずか半世紀で「もはやできな いことはない」という域に達しています。

5.1. 形状記述 によるイメージ生成

頭で思い描いた形を、ペンタブやマウスを用いて対話形式で作り上げる・・・

これは、皆さんが普通に2D・3Dのソフトを使用して行うイメージ生成のプロセスに相当します。こうしたタイプのCGを、形状記述型のCGと言います。このタイプのものは、従来の絵画や彫刻の場合と同様の思考方法でモノづくりを行うもので、絵筆をマウスに置き換えたようなものと言うことができます。最近 ではそのツールも非常に身近なものとなっています。

5.2. 手続き記述によるイメージ生成

手順(計算規則)を記述して、コンピュータに自動的に形を生成させるタイプのもので、これは、あまり馴染みがないかもしれませんが、例えば、Photoshopのフィルターの雲模様など、乱数によってパターンを自動生成するプロセスなどに 相当します。

コンピュータ・グラフィックスには、何らかの造形的規則と生成パラメータを与えて、あとは機械に描き出してもらうという発想のものがあります。
 数学者の(美的)実験から発見されたジュリア集合やマンデルブロ集合といった フラクタル図形もその典型で、単純なプログラムで生成されているにも関わらず、 無限の奥行きをもったディテールで美しい秩序を表出させます。

同様の発想で、剰余や三角関数のもつ周期性を利用した幾何学的な造形も、
そのプログラムに何らかの工夫をこらすことで思いがけない変化を生むことがあり、このような数式という生成規則による造形も、その応用は無限の可能性を もっていると言えます。

こうした発想はもちろん音楽の領域でも応用されていて、 語の生成(作詞)や旋律・和声の生成(作曲)に規則を与えたうえで、ランダムに複数のサンプルを自動生成し、その中から気に入ったものを選ぶ・・という発想が、コンピュータの登場以来一つの作曲の手法として現実に利用されています。

さて、こうした手続記述型の発想法には大きく二つのタイプがあります。ひとつは 「全体を統一的な生成規則で描く」というもので、もうひとつは「要素の相互関係にのみ規則を与えて、複数の要素から成る全体を描く」というものです。

前者の典型的な例は数理曲線や再帰図形などですが、これらは一般に 「いかにも機械的で表情に欠ける」という性格をもつため、生成の過程で若干の乱数を加えることで表情を豊かにするという方法をとることが多いようです。この乱数は先の話で言うと対称性を破る存在で、例えば単純な 2分木の再帰図形でも、適度な乱数で十分豊かな表情を醸し出します。

後者は、いわゆる複雑系の現象のシミュレーション、例えばフォン・ノイマン(1957)のセル・オートマトン、クレイク・レイノルズ(1989)のボイド(鳥もどきのアニメーション)などにその典型を見ることができます。

多くの要素が絡みあう複雑な系(Complex System)において、我々の目に面白く見える部分というのは、秩序の領域と混沌の領域がせめぎあう「カオスの縁」と呼ばれる領域です。

たばこの煙に例えて言えば、たばこの先から一直線に上昇している部分が(決定論的に記述される)秩序の領域で、天井に拡散した部分が(確率論的に記述され る)混沌の領域。そして、その中間にある煙の「乱れそめ」の部分が(カオス理論の対象となる)見ていて面白い領域です。

コンピュータで要素間の関係に規則を与えて、そのふるまいを観察した場合も同様で、安定した秩序に落ち着くか、あるいは無秩序な撹乱になるか、あるいはそ の中間的状況として複雑で有機的な形を次々に展開するかになるのですが、もちろん最後の状態が見ていて面白いものであり、造形的にも応用が効きやすいもの といえます。 ただしこの場合の条件の与えかたは難しく、その試行錯誤はゲーム感覚ですらあります。

いずれにせよ、こうした発想法の最大の特徴は、「何ができるかは、結果を待つしかない」という点と「数多く生産させて、美的に良いとおもわれるものを選択 する」という作品に対する姿勢(進化論的な発想)で、これは機械(特にコンピュータ)が 登場する以前にはできなかった発想です。もちろん自然界にある偶然の産物のなかから面白い部分を抽出するという発想は古くからあるものかもしれませんが、 偶然を機械的に制御しながら面白い形が出来るまでひたすら作らせるというのはまったく新しい発想と言えるでしょう。

6. シンセサイザー 

シンセサイザー(音を総合するという意味)は電子楽器の代表的存在で、音色を特徴付ける二つの要素、スペクトルパターンと時間経過パターンを制御することで、無限の音作りを可能にした楽器です。 音源として専用のICチップをもつものをハードウェア・シンセサイザー、特別なハードを持たず、音の波形データや、生成アルゴリズムから音を作り出すものをソフトウェア・シンセサイザーといいます。

音作りには、大きく「スペクトルパターン」と「時間経過パターン」という2つの特徴制御が必要です。

6.1. スペクトルパターン

音色は複数の倍音の分布構成(スペクトルパターン)によって特徴づけられるのですが、その生成には以下のようなものがあります。

実際には、非整数次の倍音成分が音色を特徴付ける場合も多いため、より個性的な音作りをするには、わずかにチューニングを狂わせた倍音などを 合成する必要もあります。さらにドラムのような「非楽音」の場合は、連続スペクトル、すなわち「楽音」のように倍音が等間隔に並ぶ離散的スペクトルとは 異なる音色が必要で、その生成には発振音を変則的に変調するなどの工夫が必要です。

一般に、発振器(Oscillator)・フィルタ(Filter)・増幅器(Amplifier)の3つのブロックがあって、発振器から出た様々な倍音を含む信号が、フィルタによって加工処理(一般的には通過制限)され、最後に増幅されて出力されるという流れになっています。

6.2. 時間経過パターン

時間経過パターンとは、音の鳴 り始めから鳴り終わりまでの音量(厳密には音程や音色も含む)の時間的な変化の問題です。音の立ち上がり、減衰の早さ、余韻の残り方などもその「音」を 特徴付ける重要な要素で、例えばピアノの音を真似ようとした場合、単に倍音構成を真似るだけでなく、特に音の立ち上がり部分の倍音構成の時間変化パターンを上手く真似ないと「ピアノらしい」音にはなりません。

シンセサイザーの各ブロックには EG(Envelope Generator)による時間経過パターンの制御がかかります。例えば発振器にかかれば音程(Pitch)の時間変化、フィルタにかかれば波形(Wave Form)の時間変化、増幅器にかかれば音量(Amplitude)の時間変化というように音を制御できます(それぞれを PitchEG FilterEG AmplitudeEG といいます)。

この EG は一般にADSR という四つの時間区分を用いるもので、A:Attack は立ち上がり 、D:Decay は減衰、S:Sustainは伸び、 R: Release は残響と、それぞれの設定によって、音程・波形・音量それぞれの時間経過パターンが制御されます。

6.3. LFO

さらにLFO(Low Frequency Oscillator)を各ブロックにあてることで、ヴィブラート、ワウ、トレモロに相当する効果をかけることも可能で、以上のすべての要素の総 合的な制御によって、あらゆる自然楽器のシミュレーションはもちろん、自然楽器では生成できない音も加工生成することが可能となるのです。

かつてアナログ回路しかなかった時代には、発振・フィルタリング・時間経過パターンの制御、いずれも技術的に制限があったため、音のバリエーションはそう多くはありませんでしたが、現在では原波形をサンプリングで得られることと、デジタル回路による演算加工の自由度の高さとが相まって、無限の音作りが可能になっています。


6.4. サンプラー

音声を録音(サンプリング)し、そのデータを利用する楽器です。いわゆるPCM音源をもつシンセサイザーは、プリセットされたサンプル音源を利用している点でその機能を含んでいると言えます。鍵盤その他のMIDIコントローラから演奏情報を受け、サンプルのピッチを変更するかたちで演奏する楽器です。

補足 MIDIについて

ここで補足的にMIDI(Musical Instruments Digital Interface)にも触れておきましょう。MIDIは、シンセサイザーやPCなどのデジタル機器において音楽情報を交換するための規格(1983制定)で、これを用いると、タッチの強弱を含む発音のON/OFF・ベンド・音色切り替えなど、リアルタイムでの演奏制御が可能になります。MIDIのデータは、ステータスバイト(情報の種類)とデータバイト(内容)の二つをセットにした計2バイトが一単位で、通信速度 31,250bps で送受信されます。
 これによって、様々な電子楽器間での演奏情報のリアルタイム交換や、楽曲のデジタルファイル化などが可能になりました。楽器を直接演奏できない人にも、作曲や自動演奏を楽しむ機会が与えられることとなり、絵の苦手な人にとってのCGと同様、創作活動におけるハンディを解消するものとして、非常に意義のある存在です。その後、各種のメディアにおける演奏情報の統一の必要性が生じたことから、GM規格が制定(1991年)され、共通音源仕様(異なる機種でもほぼ同じ音色で演奏が再現される)が確立されています。
 さらに今日では、PCの処理速度の向上と音楽ソフトウエアの機能充実によって、MIDIデータ(楽譜データ)とサウンドデータ(直接的な音声波形データ)を統合して処理・演奏する環境が実現し、安価なパーソナルのDTM(Desk Top Music)機材だけでも、作曲からレコーディングまで可能になりました。伝える中身と伝え方の問題は別として、ただ単に市販品のかたちにできるかどうかというレベルでは、もはやプロとアマチュアの境界はなくなっています。

7. 画像・映像の出力装置

コンピュータで生成された静止画や動画は、最終的にプリンタやディスプレイといった媒体で可視化されます。この2つは、前者が CMYK 4色の減法混色、後者が直接「光」を素材とした RGB 3色の加法混色で画像を生成するという違いがあり、それぞれの発色の限界に関しては注意が必要です。

7.1. 2Dプリンタ

プリンタにはインクジェット式(染料系と顔料系)、レーザー方式(トナー画像転写式)、熱転写式(溶融型と昇華型)などがありますが、家庭用では主にインクジェットプリンタが、また高速かつ大量の出力が必要なオフィス等ではレーザープリンタが主に用いられます。

7.2. ディスプレイ

テレビ、PC、スマートフォンなど、画面出力にはラスタスキャン型の液晶ディスプレイや有機ELディスプレイが用いられます。PCやスマートフォンでは、テレビとは仕組みが異なり、ノンインターレース方式(上から下への順次走査)で、画面のリフレッシュレートも高くなっています。アスペクト比は16:9、4:3など様々で、画素数も4,096 x 2,304、 1920 x 1080、1600 x 1200、1280 x 1024、1024 x 768など、複数の規格が存在しています。

プリンタの出力も画像の出力も基本的には平面ですが、音響のシステムと同様、立体視のためのステレオグラフィックスシステムもあります。2チャンネル分の複合画像を偏光や時分割シャッターで左右の目に分離する眼鏡方式が主で、VRシステムの最終出力としても欠かせない技術となっています。

7.3. 3Dプリンタ

3Dデータ(主として.stl 形式)をもとに立体を造形する装置で、樹脂を何層にも積み重ねるかたちで実体化します。建築、医療、教育と、様々な分野で利用されています。

8. 音声の出力装置

電気的な振動(交流電流)を物体の振動に変換し、最終的に空気の粗密波としての音を生成するには、スピーカ(電気音響変成器・継電器)が必要です。

8.1. スピーカ

スピーカには、コイルをつけた振動板を磁場に置いて電流に応じた振動をつくるという動電型(ダイナミック型)と、電圧によって伸縮する圧電型とがあり、スピーカ・ヘッドホンの大部分は動電型、効率重視の携帯電話や薄さが必要になる壁掛けスピーカなどには圧電型が用いられています。動電型の場合、電気から音響へ、また音響から電気への相方向への変換が可能で、例えば動電型のスピーカはマイクロフォンとしても利用できます。スピーカを形状で分類すると、コーン型・ドーム型・ホーン型・リボン型などがあり、また再生帯域に関して分類すると、人間の可聴域(20Hz~20000Hz)を一つのスピーカーユニットでカバーする「フルレンジスピーカー」と、可聴域を帯域別に分けて、各帯域を専用に振動させる「スーパーウーファ(超低音用)」・「ウーファ(低音用)」・「スコーカ(中音用)」・「ツイータ(高音用)」などがあります。

再生のシステムには、モノラル・2元ステレオ(立体音響)・多元ステレオ(5.1チャンネルが主流)などがありますが、2元ステレオが最も一般的な方法です。2系統の音を2個のスピーカから出すというこの方法は「音場に立体感ができる」・「音源の移動が再現できる」などの理由で1950年代以降普及しはじめ、あらゆる音響機器もそれに伴なって2チャンネル(L⇔R)を基本とするようになりました。

音は聴覚がとらえ得る範囲の空気の振動です。この厳然たる事実がある以上、音を生成する楽器や音響機器の基本的な仕組みは変わりません。子どものころに作った糸電話を思い出してみましょう。基本に立ち返れば何か面白い発想も浮かんでくるのではないでしょうか。




9. デジタル造形時代の覚書

さて、コンピュータによる画像・映像の生成について概観したのですが、便利な環境が整った今日の状況に関して、これまでの経験をふまえた私なりの「覚え書き」を残したいと思います。

私が、コンピュータというものと出会った時、それはまだ「画面」を持たない存在、つまり入力も紙(パンチカード)で、出力も紙(連続伝票)というものでした。それが、80年代にはパーソナルコンピュータが台頭し、モノクロ、8色、16色、4,096色、90年代に1670万色と、あっという間にフルカラー表示が実現し、 現在では動画像のリアルタイム処理も可能になりました。

かつて、動画はもとより、大きなサイズの画像や色数の多い画像はモニターに表示する事ができず、CGで作品を作るには、生成した画像データ(画素ごとの RGB値を羅列した汎用画像ファイル)を専門のラボで出力してもらうしかありませんでした。そんな時代と比較すれば、3DCGを含めた映像の制作がPCの画面上でストレスなくできてしまう現状はまさに夢のようです。

しかし、このコンピュータに依存した今日の制作の環境では、余計なことに必要以上の時間がかかったり、目的と手段が逆転してしまったりすることも多いよう です。デザイン教育に携わる中で、日頃感じている「大切なこと」をいくつか挙げておきたいと思います。

第一に、ツールは手段であって目的ではないということ。優れた機能をもつソフトウエアを前にして「すべてを使いこなさなければ」という強迫観念が、制作の手を鈍らせてしまうことが多いようです。確かに、競争原理で動くデザインの現場では、作業能率を上げるために、ソフトを使いこなす知識が必要になりますが、しかし、それも度を過ぎると、結局、「使い方を覚えるためだけにソフトを使っている」という状況に陥ってしまいます。今やるべきことは何か、無意味なことに時間を使いすぎていないか、常に自分に問いかける必要があるでしょう。

第二に、画面に向かう前にしっかりした設計(スケッチ)が必要だということです。特に、紙に書くことは重要です。例えばメモ。エディターで打ち込んだメモは確かに美しいのですが、すべての文字が均一に打ち出されるため、思考のメリハリが見え なくなります。一方手書きのメモは、文字の大小や強調・省略、さらに文字と文字の位置関係から、すぐにその主題と思考の図式が想起できるのです。直接画面上で編集すれば 修正と同時に完成であり、それは一見能率的に見えるのですが、切り貼りの堂々巡りで何を書いているのかわからなくなってしまうことも多々あります(これはプログラムの開発でも同じです)。直接画面に向かう方が能率的に見える時代ですが、設計段階では紙と鉛筆の方に軍配があがります。

第三に、「何を伝えたいのか」を忘れてはならないということです。作業がゆっくりと進行していた頃はそれを常に意識する余裕もありました。しかし、「ファイル・新規作成」 だけで新しい紙が準備されてしまうような環境では、いろんな技術を試してみたくなります。そして思考が追いつかない。技術の誇示ばかりが優先されて肝心の「伝えたいこと」が脇に追いやられてしまうことがないよう心がけたいものです。たとえ線一本でも十分に存在感はあるの です。

最後に、CGもひとつの手段であってその領分があるということ。絵の具がもつ物質的な存在感や写真映像がもつ「聖なる一回性」の感覚は、CGが勝負できる領域ではありません。大事なのはCGでなければできないことを模索することです。メディアの「らしさ」が十分追求されたとき、それはツールの良し悪しに関わらず強い存在を生むのだと思います。



10. 特設サイトにコメント

以下の2つの項目について、特設サイトにコメントをお願いします。

前回同様に、アナログとデジタルを比較して、そのメリットデメリットについて考察して下さい。




以上、第11回目の授業、これにて終了とします。
次回以降は、映像と音楽について2回に分けてお話します。




PAGES

GUIDE

DATA


*1 音程のある「楽音」は、通常基本周波数の振動と、その2倍の周波数、4倍の周波数など、整数倍の周波数の振動が重なっています。つまり、同じラ(a3)の音といっても、具体的な楽器の音では、440Hz, 880Hz, 1760Hz・・と複数の振動の組み合わせになっていて、我々の耳は、その各成分の強さの分布の違いを聞き分けることで、それがピアノの音かバイオリンの音かを識別しているのです。
*2 かつて中国では、楽器をその素材によって、金・石・糸・竹・匏・土・革・木の8種類に分類して、これを「八音」と呼びました(日本の雅楽も同様)
Last-modified: 2020-07-08 (水) 15:56:57