身体性に着目したオンライン多次元演習教室の開発

中村　隆敏 / 佐賀大学芸術地域デザイン学部

NAKAMURA Takatoshi / Saga University

Keywords: XR,VR,MR, Experimental Learning, Tele-Immersion, Learning Content 　

Abstract

This research will generate a classroom that merges and integrates virtual and real spaces on the Web, called a metaverse, and constructs a multidimensional exercise classroom that changes according to learning objectives and learning methods. This research is the development of a highly immersive multidimensional exercise classroom that integrates virtual and real spaces, using Tele-Immersion and focusing on physicality.

はじめに

　Covid19以降における学習環境は、一気にオンライン学習への対応を余儀なくされ、パンデミック収束後も継続的な学習環境の構築を求められている。
　しかし、オンライン学習システムにより受講者が個別に扱われても、その人自身を感じることは乏しく、自宅において個別で学ぶことの疎外感、喪失感を減らすことは難しい。さらに演習科目においては、材料、道具等の代替措置、手順、能力の支援等は困難であることが判明した。
　HMDによるVR,MR上で仮想の教室を構築する試みもあるが、教室内天球撮影や簡易的なCG表現、コメント機能により一面的で臨場感、没入感に乏しく身体性を伴う演習科目に対応した遠隔型テレイマージョン教室はまだない。 本研究は、今後進んでいくメタバース（Metaverse）と呼ばれるWeb上仮想空間と現実空間を融合しながら離れた場所と空間を統合した演習教室を生成し、さらに学校種、授業目的や教科演習内容によって可変する多次元教室を構築するものである。
　アバターを生成し、簡易モーションキャプチャとAIによる動作補助、ハプティクスデバイス、3DCGIデータをIP高解像度配信することで、テレイマージョン（Tele-Immersion）による仮想と現実空間を統合した高度没入型の演習教室の開発である。

目的と背景

　本研究は、パンデミック以降の学習環境として仮想空間と現実空間を相互に結び、特定ないし不特定の学習者が身体を自在に振る舞いながら、演習として学びの支援を行うシステムの開発である。従前の教室環境再現における共空間意識の再現はHMDによるVR環境や受講者同士のチャット等によるもので没入感に乏しく、空間として一人一人の存在が意識できなかった。
　近年のテレイマージョン研究やテレイグジスタンス（Telexistence）研究、開発においては個別の仮想空間の活動よりも、同じ仮想空間に複数の個人が集結できる学習環境の構築が技術的に可能となった。今後の学習環境は「教室」という概念を物理的な空間のみに依存するのではなく、必要に応じて家庭からでも学校からでも、あるいは病院や屋外からでも参加できる新たな学びのメタバース共有空間の構築に進化するだろう。
　つまり、学習者にとっては現実空間と地続きになるミラーワールドとしての新たな「教室」が現出し、学習者同士が同じ時間と空間を共有でき、疎外感や喪失感もない環境が構築できる。そのためには、身体性に着目し、触覚を中心に遠隔制御、アバターの生成、空間認知のインタフェース、画像や音響制御の統合的開発が必要である。また、学習者個人の現実空間と仮想空間をシームレスに繋ぐ新たなデバイスの開発も重要である。

研究の概要

　これまでの情報空間において情報コミュニケーションはテキストや映像情報が多くを占めてきた。今後の情報空間が自分の身体的存在を拡張、移動できるような空間として存在すれば、現実と仮想の空間をシームレスにつなぐ多様な演習を多次元的に学ぶ教室が可能となる。
　本研究では大学内のスタジオにおいて、モーションキャプチャやハンドグローブによる動作と触覚の情報を収集、コンポジットし遠隔のユーザー同士が仮想教室空間において融合し授業や演習を行う。ユーザの体験環境はMR用HMD装着ないし、LEDパネルによる没入型ディスプレイを用いた簡易MRボックスを準備する。また、簡易モーションキャプチャとハンドグローブセットを装着することで動作や触覚による複合的な情報から遠隔における演習を現実と仮想空間の融合として効果的に行えることを実証したい。

開発内容

　テレイマージョン研究の主な価値は、デジタル世界の要素がデータの単純な表示としてではなく、没入型感覚の統合を通じて現実世界の人の知覚に溶け込む方法である。また、メタバース構築においては過去からの仮想現実研究が本格的に社会に実装される機運が高まり、アプリケーションやコンテンツ開発が加速されていくだろう。今後、関連する研究は、装置などのハードだけでなく、VR クラウド等ネットワーク環境やソフトウェアの技術向上も開発の鍵を握る。
　身体性に関わるマルチモーダルなインターフェイス、ハプティクスデバイスと手技の反応における最適化を行う。また、アバター（リアル、ノンリアル）を生成し、簡易モーションキャプチャとAIによる動作補助、3DCGIデータをIP高解像度配信することで、仮想と現実空間を統合した高度没入型の演習教室の開発を行う。 　統合型多次元演習教室コンテンツの実装を可能にする技術的かつ開発、企画デザインの知見を調査し、さらにデバイスの選択と環境構築、さらに位置情報モーションキャプチャ用センシングの技術的な最適化を検証する。現実空間と仮想空間の融合および統合型多次元演習教室（図１）の有効性を検証し、その実証と形成的評価を行う。

考察とまとめ

　新型コロナウイルス感染状況下でオンラインにおける演習指導を経験し、実験系、実習系科目が多い学校種や学科にとって、今後も感染状況の継続次第では喫緊の対応が求められている。バーチャル教室においてはいくつか関連研究が存在するが、手術や高度な実験の単一的な教材が多く、現実と仮想空間を融合した臨場感や力学感覚の没入感を統合した複数の教室を多次元化したコンテンツはまだない。技能や身体運動の学習要素は映像だけで伝えられず、マルチモーダルな情報を遠隔上で伝える現実と仮想空間の身体性に着目した統合型多次元演習教室が必要である。
　メタバース構築においては過去からの仮想現実研究が本格的に社会に実装される機運が高まり、アプリケーションやコンテンツ開発が加速されていくだろう。
　今後、関連する研究は、装置などのハードだけでなく、VRクラウド等ネットワーク環境やソフトウェアの技術向上も開発の鍵を握る。本研究は学校教育の演習学習のみでなく、企業研修や各種ワークショップ、音楽ライブ、ダンス、演劇等、芸術表現やエンターテイメント等、パンデミックによる公開方法を模索する領域において新しい空間創出による解決策となる。

• 

  図１　統合型多次元演習室のイメージ

参考文献・参考サイト

• 梅崎 卓哉;中村 隆敏;角 和博;穗屋下 茂;清水 きよし;若井 雅幸:パントマイムの動作分析と3DCG アニメーションによる再表現の研究:
  

　佐賀大学全学教育機構紀要Vol.7, pp.91-102

• 阪田 真己子 ,丸茂 祐佳 ,八村広三郎 ,小島 一成 ,吉村 ミツ:日本舞踊における身体動作の感性情報処理の試み　－motion captureシステムを利用した計測と分析－,
  

　情報処理学会研究報告, 人文科学とコンピュータ, Vol.7, pp.49-56,(2004).

• 小木 哲朗：没入型ディスプレイの特性と応用の展開,ヒューマンインタフェース学会論文誌 , 43-49, (1999)
• アルゴリズム フェアネス（2020）尾原和啓, KADOKAWA,(2020).