オンラインワークショップにおける行動評価方法の研究
- ここにサブタイトルを記載 -
注）
- この雛形は、研究発表（口頭・ポスター）に適用されます。
- 英文概要は、80ワード程度を目安にご執筆下さい。
- 本文部分は、2,000文字程度を目安にご執筆下さい。
- 見出しの語句は参考例です。
- 「あなた」が編集を行うとページの履歴に利用者名が残ります。
- 西村英伍 / 九州大学 芸術工学府芸術工学研究院
- Nishimura Eigo / Kyushu University
- 末吉孝 / 九州大学 芸術工学府
- Sueyoshi Kou / Kyushu University
- 尾方義人 / 九州大学
- Ogata Yoshito / Kyushu University
Keywords: Product Design, Visual Design ← キーワード（斜体）
- Abstract
- Lorem Ipsum is simply dummy text of the printing and typesetting industry. Lorem Ipsum has been the industry's standard dummy text ever since the 1500s, when an unknown printer took a galley of type and scrambled it to make a type specimen book. It has survived not only five centuries, but also the leap into electronic typesetting, remaining essentially unchanged.
目的と背景
筆者らはワークショップにおける参加者の「コミュニケーション」と「集中」に着目し、それぞれの定量化によってワークショップの客観的評価とワークショップデザインへの応用を目指している。ここでコミュニケーションとは、参加者同士の会話を指し、視線が相手の顔に向けられていること、発話があることを基準としている。また集中とは、参加者の視線が資料や成果物に一定時間向けられていることを基準としている。コミュニケーションと集中の持続時間や頻度等を分析することで、ワークショップが参加者にとって有意義なものであったかを評価するための指標を得られると考える。
新型コロナウイルス感染症の流行により対面でのワークショップの実施が困難となったことを受けて、ビデオ会議システムを用いたオンラインワークショップが検討実施されている。オンラインワークショップでは、参加者の顔とその周辺しか見えないため、従来のように運営者がワークショップの状態を感覚的に捉えることが困難になっていると考えられる。一方、オンラインワークショップでは終始参加者の顔がビデオで記録されているため、参加者の動きや視線からコミュニケーションの状態や集中の程度を動画解析によって分析することが可能である。
本研究ではオンラインワークショップ中の参加者の顔動画を、深層学習を用いた動画解析によって「コミュニケーション」と「集中」の点から分析し、ワークショップの状態を定量的に評価する方法の開発を目的とする。
方法
筆者らは、ワークショップ参加者の動画中の表情変化を数値化し時系列データを比較するために、深層学習ライブラリOpenPoseを用いた分析ツールを作成した。OpenPoseとは図1に示すように、全身のキーポイント25点、顔のキーポイント70点の座標を検出することができる。分析ツールでは、得られたキーポイントの座標間距離を時系列データで記録することで、ワークショップ参加者の動画中の表情変化を数値化している。
発話・表情推定
作成した分析ツールにより発話や表情の推定が可能かを検討するために、ビデオ会議システムを使用したコミュニケーションを伴うゲームを4人で実施し、その一部始終を録画し、解析の対象とした。ゲームは株式会社サムライトが提供するコミュニケーションゲーム「それは何？」を採用した。
図2のように、発話を口の動きによって、笑いを口と眼の動きによって推定可能であることが示唆された。また、視線を推定するには目の動きだけでなく顔の方向を検出することで集中の対象をより高い精度で推定できるようになると考えた。
顔方向推定
先の予備実験ではゲームのルールによって参加者の顔の動きがコントロールされていたが、実際のワークショップではより複雑なコミュニケーションが交わされる。そこで2回目の予備実験では、9人が参加するオンラインワークショップ中のディカッションの一部始終を録画し、解析の対象とした。 また1回目の予備実験の所感を反映して、顔の方向から視線を推定する機能を分析ツールに実装した。方法としては、三次元寸法データを使用して、二次元平面から三次元空間の方向ベクトルを投影によって算出する方式を採用した。
図3のように、視線推定によって参加者が注目している対象を推定できるようになったが、注目の対象が何であるかが動画と解析結果からは分からない。遠隔ワークショップでは事前に各参加者の画面のレイアウトや、カメラと画面の位置関係等を確認しておく必要がある。また2回目の予備実験では、体動が大きくカメラの画角から長時間顔が外れてしまう状況が見られた。
ワークショップ実験計画
以上2回の予備実験を通じて、オンラインワークショップ中に得られる参加者の顔動画からコミュニケーションと集中を推定するための方法を実装した。今後は
脚注
参考文献・参考サイト
- ◯◯◯◯◯（20XX） ◯◯◯◯ ◯◯学会誌 Vol.◯◯
- ◯◯◯◯◯（19xx） ◯◯◯◯ ◯◯図書
- ◯◯◯◯◯（1955） ◯◯◯◯ ◯◯書院
- ◯◯◯◯◯ https://www.example.com （◯年◯月◯日 閲覧）
