現実と仮想空間を融合する展示用モバイル型MR教材の開発

- 現実と仮想空間を融合する展示用モバイル型MR教材の開発 -

中村　隆敏 / 佐賀大学芸術地域デザイン学部

NAKAMURA Takatoshi / Saga University

Keywords: MR,Mobile teaching tool 　

Abstract

It is necessary to improve the quality of hands-on learning materials. We will develop mobile MR learning materials that allow you to experience live action video and CG video in a hybrid manner. The learner can learn the past and present learning objects by fusing the real space information and the virtual space information. .

目的と背景

　近年、博物館や科学館等における体験型学習の方策として、VR（Virtual Reality：仮想現実）やAR（Augmented Reality：拡張現実）による学習支援教材が普及してきた。没入型や学習情報支援として一定の成果を納めているが、屋内における教材が多数を占め、屋外におけるMR（Mixed Reality：実写とCGの合成による複合現実）の教材はまだ少ない。また、多言語化や年齢に応じた学習内容へのニーズも高い。そこで、本研究では、屋外展示の回遊において体験型学習展示教材の質的向上と専用HMD（ヘッドマウントディスプレイ）による実写映像とCG映像をハイブリッドに体感できるモバイル型MR学習教材の開発を目指す。これにより、現実空間情報と仮想空間情報を融合させ、しかも映像として違和感なく過去と現在の学習対象を学びながら体験できる質的に高いコンテンツとなる。 本研究は、屋内展示環境において学習者の自由度を狭める完全な視覚没入型VRではなく、屋外展示において移動しながら実際の実写映像とCGを合成し、現実世界に仮想世界をマッピングするモバイル型MR教材の開発である。

研究の方法

・屋外モバイル型MRデバイスの環境構築と位置情報センシングの最適化検証技術的な検証は屋外において位置情報を取得しリアルタイムにCGを上書きしていく必要がある。鑑賞者が保持するHMDのモーションキャプチャ用センシングをGPSと近距離及び遠距離において取得する技術的な最適化を検証する。視聴対象資料の現実映像とCGの仮想映像が違和感なく融合するにはHMDの位置情報を明示するセンシングが重要である。 ・MR,SRによる現実空間と仮想空間の融合教材コンテンツ開発 鑑賞者が現実空間を認識するためのカメラとマイクを設置したHMDを視聴デバイスとし、そこに位置情報と学習内容に即した3DCGを上書きし現実空間と仮想空間を融合できるサンプル教材コンテンツを開発する。開発当初は屋内専用モーションキャプチャスタジオにおいて、モーションキャプチャと連動させたセンシングと3DCG表示の融合度合いを検証していく。そのため事前に教材設計や興味関心に応じた資料準備、ビデオ映像やCGの作成を行う。

結果

MR（Mixed Reality：複合現実）は、仮想空間を現実空間に重ね合わせて見せることで、現実の世界の中の関心領域を増幅・強調させ、それを違和感なく体験することが出来る技術である。HMD（ヘッドマウントディスプレイ）やメガネ型透過グラスにカメラを装着し、現実世界も撮影しながら仮想空間と融合する。従ってCGの質的に高度な表現力と高精細の視聴デバイスにより融合度が比例する。SR（Substitutional Reality：代替現実）は、現実の世界と過去の映像を混同させて、本来実在しない人物や事象が実時間・実空間に存在しているかのように錯覚させるシステムであり、カメラ付きHMDには、現在の実映像と同じ場所で撮影した過去映像とを織り交ぜ、さしかえて表示する。 屋外環境において今後、これらの技術が汎用的になり、現実空間と仮想空間の境をなくしながら体験できるコンテンツを目指していく。

考察

　国内外のMR,SRコンテンツ開発研究は屋内で活用するものを主に広がっており、視聴方法やデバイス、センシング環境も多種多様である。しかし、屋外で活用することに特化したデバイスやセンシング、環境構築の研究は少ない。また、屋内展示教材に対し、屋外展示における仮想と現実の融合による質的に高度な教材開発研究はまだない。理由としては、防水や日光対策等の過酷な条件、移動距離の増大等、屋外展示環境におけるセンシング等、情報空間の整備とデバイスの開発が技術的に統一されておらず、コンテンツ開発への遅れに繋がっていることが挙げられる。 本来、MRは屋外も含めたモバイル使用として意識されており、その意味で教材として開発を行う本研究はその先駆けとして重要な意味を持つ。学習者目線で考えれば、リピート率やインバウンドを目的とした海外からの観光客対象の新しい展示コンテンツのあり方としても重要な指針を示すことになるだろう。また、装置などのハードだけでなくソフトウェアの技術向上も開発の鍵を握る。今後、本研究での屋外でのMR,SR活用が技術移転されることで、農業や工業、建築現場、高齢者（福祉施設）向け用途など裾野分野への展開が期待される。　

まとめ

　研究代表者はこれまで、伝統工芸職人の技能習得支援教材を研究してきた。ろくろ作業の多視点映像や職人目線の立体視映像、3Dプリンタを用いた触感再現のろくろ実物模型、VRによる陶磁器絵付け再現教材等である。これらは、職人の技術という伝統的な無形の文化財を後世に残すための暗黙知から形式知への転移作業でもあった。 本研究は、生涯学習者のための文化的、歴史的な有形の屋外文化財学習に対し、デジタル表現により時間と空間を融合させ、学習者が多様な遺産・遺跡・文化財を辿りながら自らの見識を高める形式知から実践知への支援教材になり得る。知識のみでなく、現場を巡り五感を澄ましながら更にMR,SRによる仮想空間も加えた量的にも質的にも高度な知に触れることで実践知としての磨きをかけることを実証したい。

参考文献・参考サイト

• VR原論 人とテクノロジーの新しいリアル（2019）　服部 桂　翔泳社
• バーチャルリアリティ学 （2010）
  　

(監修), 佐藤 誠 (監修), 廣瀬 通孝 (監修), 日本バーチャルリアリティ学会 (編集) 　コロナ社

• VRは脳をどう変えるか? 仮想現実の心理学（2018）
  　

Jeremy Bailenson (原著), ジェレミー ベイレンソン (著), 倉田 幸信 (翻訳)　文藝春秋

• フューチャー・プレゼンス 仮想現実の未来がとり戻す「つながり」と「親密さ」 (2019)
  

ピーター ルービン (著), 高崎 拓哉 (翻訳) ハーパーコリンズ・ ジャパン