身体性に着目したオンライン多次元演習教室の開発

中村　隆敏 / 佐賀大学芸術地域デザイン学部

NAKAMURA Takatoshi / Saga University

Keywords: XR,VR,MR, Experimental Learning, Tele-Immersion, Learning Content 　

Abstract

We have developed rich media content that utilizes the newest technologies such as XR. It is an educational program by PBL. Companies and universities collaborate to create ideas and commercialize them. We were able to improve the practical ability of content development. We describe XR contents development and report on their practice.

はじめに

　新型コロナウイルス感染状況下における学習環境の構築は、一気にオンライン学習への対応を余儀なくされ、パンデミック収束後も継続的な学習環境の構築を求められている。 　しかし、Web会議システムにより受講者が個別に扱われても、その人自身を感じることは乏しく、自宅において個別で学ぶことの疎外感、喪失感を減らすことは難しい。さらに演習科目においては、材料、道具の代替措置、手順、能力の支援等は圧倒的に厳しいことが判明した。　　 HMDによるVR,MR上で仮想の教室を構築する試みもあるが、教室内天球撮影や簡易的なCG表現、コメント機能により一面的で臨場感、没入感に乏しく身体性を伴う演習科目に対応した遠隔型テレイマージョン教室はまだない。 　本研究は、今後進んでいくメタバース（Metaverse）と呼ばれるWeb上仮想空間と現実空間を融合しながら離れた場所と空間を統合した演習教室を生成し、さらに学校種、授業目的や教科演習内容によって可変する多次元教室を構築するものである。リアルアバターを生成し、簡易モーションキャプチャとAIによる動作補助、ハプティクスデバイス、3DCGIデータをIP高解像度配信することで、テレイマージョン（Tele-Immersion）による仮想と現実空間を統合した高度没入型の演習教室の開発である。

目的と背景

　本研究は、パンデミック以降の学習環境として仮想空間と現実空間を相互に結び、特定ないし不特定の学習者が身体を自在に振る舞いながら、演習として学びの支援を行うシステムの開発である。従前の教室環境再現における共空間意識の再現はHMDによるVR環境や受講者同士のチャット等によるもので没入感に乏しく、空間として一人一人の存在が意識できなかった。　 近年のテレイマージョン研究やテレイグジスタンス（Telexistence）研究、開発においては個別の仮想空間の活動よりも、同じ仮想空間に複数の個人が集結できる学習環境の構築が技術的に可能となった。パンデミック以降の学習環境は「教室」という概念を物理的な空間のみに依存するのではなく、必要に応じて家庭からでも学校からでも、あるいは病院や屋外からでも参加できる新たな学びのメタバース共有空間の構築に進化するだろう。 　つまり、学習者にとっては現実空間と地続きになるミラーワールドとしての新たな「教室」が現出し、学習者同士が同じ時間と空間を共有でき、疎外感や喪失感もない環境が構築できる。そのためには、身体性の遠隔制御、リアルアバターの作成、空間認知のインタフェース、画像や音響制御の統合的開発が必要である。また、学習者個人の現実空間と仮想空間をシームレスに繋ぐ新たなデバイスの開発も重要である。

研究の概要

　これまでの情報空間において情報コミュニケーションはテキストや映像情報が多くを占めてきた。今後の情報空間が自分の身体的存在を拡張、移動できるような空間として存在すれば、現実と仮想の空間をシームレスにつなぐ多様な演習を多次元的に学ぶ教室が可能となる。 本研究では大学内のスタジオにおいて、モーションキャプチャやハンドグローブによる動作と触覚の情報を収集、コンポジットし遠隔のユーザー同士が仮想教室空間において融合し授業や演習を行う。ユーザの体験環境はMR用HMD装着ないし、LEDパネルによる没入型ディスプレイを用いた簡易MRボックスを準備する。また、簡易モーションキャプチャとハンドグローブセットを装着することで動作や触覚による複合的な情報から遠隔における演習を現実と仮想空間の融合として効果的に行えることを実証したい。

開発内容

　テレイマージョン研究の主な価値は、デジタル世界の要素がデータの単純な表示としてではなく、没入型感覚の統合を通じて現実世界の人の知覚に溶け込む方法である。また、メタバース構築においては過去からの仮想現実研究が本格的に社会に実装される機運が高まり、アプリケーションやコンテンツ開発が加速されていくだろう。今後、関連する研究は、装置などのハードだけでなく、VR クラウド等ネットワーク環境やソフトウェアの技術向上も開発の鍵を握る。 本研究は学校教育の演習学習のみでなく、企業研修や各種ワークショップ、音楽ライブ、ダンス、演劇等、芸術表現やエンターテイメント等、パンデミックによる公開方法を模索する領域において新しい空間創出による解決策となる。そのために統合型多次元演習教室コンテンツの実装を可能にする技術的かつ開発、企画デザインの知見を調査し、さらにデバイスの選択と環境構築、さらに位置情報モーションキャプチャ用センシングの技術的な最適化を検証する。現実空間と仮想空間の融合および統合型多次元演習教室の有効性を検証し、その実証と形成的評価を行う予定である。 統合型多次元演習教室開発において技術的な環境構築の検討と、教材作成におけるコンセプトや企画デザインが重要となる。バーチャルスタジオとテレイマージョンはゲームや映画、遊戯施設のアトラクション等の屋内娯楽分野への応用が著しい。その技術的な部分は多次元演習教室開発でも同等である。

考察とまとめ

　国内においては縄文，弥生時代から繋がる古墳や壁画，文化歴史的に重要とされた神社，仏閣跡地や城跡，さらに世界遺産や戦争遺産に指定される建造物跡地が相当数に上る。また，陶磁器窯跡や紡績工場跡などが再開発で街並みに変わってしまい跡形そのものがなくなった貴重な過去の遺跡も多い。このような屋外展示教材は，事前の学習情報を持つか現地に赴き設置パネル等の解説情報を得る等の形態しか持ちえなかった。 　展示物学習において，屋外の現実空間で五感を活用し本物を確認することは大切なことである。しかし，赴いた行為のみで終わってしまい，観光情報以上の学習情報を得ることができていない現状もある。本研究は屋外遺産遺跡の空間情報として足らない部分をCGで補完し，リアルタイムに当時の姿を再現し，鑑賞者が動くことに追随する。屋外展示環境においてAR,MRは，鑑賞者の意識もしくはその感覚を仮想の空間に没入させることによって，疑似体験を提供できる。そのリアリティーを高めるために，鑑賞者の感覚と仮想空間の連関を深め精度を高めることが重要となる。時間や空間を超え，あたかもそこにいるかのような経験をもたらすことができればリピート率も高くなり，更に学習の深化や動機付けになるだろう。 本来，AR,MRは屋外も含めたモバイル使用として意識されており，その意味で本研究はその先駆けとして重要な意味を持つ。 管理的側面や運用上のコストのみでなく，学習者目線で考えればリピート率やインバウンドを目的とした海外からの観光客対象の新しい展示コンテンツのあり方として重要な指針を示すことになるだろう。また，装置などのハードだけでなくソフトウェアの技術向上も普及の鍵を握る。今後，高度医療や高齢者（福祉施設）向け用途など裾野分野への展開が期待される。

• 

  図１　統合型多次元演習室のイメージ

参考文献・参考サイト

• 阪田 真己子 ,丸茂 祐佳 ,八村広三郎 ,小島 一成 ,吉村 ミツ:日本舞踊における身体動作の感性情報処理の試み　－motion captureシステムを利用した計測と分析－,

情報処理学会研究報告, 人文科学とコンピュータ, Vol.7, pp.49-56,(2004).

• アルゴリズム フェアネス（2020）尾原和啓, KADOKAWA,(2020).