オンラインワークショップにおける行動評価方法の研究 - 版の履歴

井上貢一: /* 参考文献 */

2020-10-16T11:32:20Z

‎参考文献

2020年10月16日 (金) 11:32に井上貢一による

2020-10-16T11:32:06Z

井上貢一: 「オンラインワークショップにおける行動評価方法の研究」を保護しました ([編集=管理者のみ許可] (無期限) [移動=管理者のみ許可] (無期限))

2020-10-16T11:28:09Z

「オンラインワークショップにおける行動評価方法の研究」を保護しました ([編集=管理者のみ許可] (無期限) [移動=管理者のみ許可] (無期限))

西村英伍: /* 発話・表情推定 */

2020-10-04T15:58:23Z

‎発話・表情推定

2020年10月4日 (日) 14:40に西村英伍による

2020-10-04T14:40:41Z

2020年10月4日 (日) 14:40に西村英伍による

2020-10-04T14:40:02Z

2020年10月4日 (日) 14:38に西村英伍による

2020-10-04T14:38:51Z

2020年10月4日 (日) 14:38に西村英伍による

2020-10-04T14:38:10Z

西村英伍: /* 顔方向推定 */

2020-10-04T14:32:22Z

‎顔方向推定

西村英伍: /* 参考文献 */

2020-10-04T14:31:49Z

‎参考文献

@@ 61行目: / 61行目: @@
 *[2] Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, Yaser Sheikh (2019)"OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", arXiv:1812.08008
 *[3]産業技術総合研究所, "人体寸法データベース 1991-92", https://www.airc.aist.go.jp/dhrt/91-92/index.html
 [[Category:その他のデザイン]]

@@ 1行目: / 1行目: @@
 ; 西村英伍 / 九州大学大学院芸術工学研究院
 : Nishimura Eigo / Faculty of Design, Kyushu University
@@ 7行目: / 9行目: @@
 ; 尾方義人 / 九州大学大学院芸術工学研究院
 : Ogata Yoshito / Faculty of Design, Kyushu University
 ''Keywords: Workshop Design, Behavior Analysis''
@@ 15行目: / 18行目: @@
 : In this research, we developed a method to quantitatively evaluate the state of the workshop by analyzing the facial videos of participants in the online workshop from the viewpoints of "communication" and "concentration" by video analysis using deep learning. The purpose.
@@ 45行目: / 47行目: @@
 　図4のように、視線推定によって参加者が注目している対象を推定できるようになったが、注目の対象が何であるかが動画と解析結果からは分からない。遠隔ワークショップでは事前に各参加者の画面のレイアウトや、カメラと画面の位置関係等を確認しておく必要がある。また2回目の予備実験では、体動が大きく顔がカメラの画角から長時間外れてしまう状況が見られた。
 ===今後の課題===
 　以上2回の予備実験を通じて、オンラインワークショップ中に得られる参加者の顔動画からコミュニケーションと集中を推定するための方法を実装した。今後は、ワークショップのプログラムの中で参加者の視線の先に何があるのかを自然に把握し、ワークショップ中にその位置が変わらないようにコントロールすることと、顔がなるべく画角から外れないよう誘導するといった進行上の課題を解決していく。
 ==脚注==
 ※1: 「それは何？」とは、参加者の1人が出題者となり1つのものを思い浮かべ、他の参加者が「はい」または「いいえ」で答えられる質問をし、思い浮かべたものが何かを当てるゲームである。
 ==参考文献==
@@ 56行目: / 61行目: @@
 *[2] Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, Yaser Sheikh (2019)"OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", arXiv:1812.08008
 *[3]産業技術総合研究所, "人体寸法データベース 1991-92", https://www.airc.aist.go.jp/dhrt/91-92/index.html

@@ 35行目: / 35行目: @@
 [[ファイル:Nishimura_4people_zoom.jpg|200px|thumb|right|図2: 4人の参加者に対する表情の推定]]
 　作成した分析ツールにより発話や表情の推定が可能かを検討するために、図2に示すようにビデオ会議システムを使用したコミュニケーションを伴うゲームを4人で実施し解析の対象とした。ゲームは株式会社サムライトが提供するコミュニケーションゲームの中から体の動きが少なく、また道具を使用しない「それは何？」<sup>※1</sup>を採用した。
-[[ファイル:Nishimura_4people_graph.png|200px|thumb|right|図3: 口の面積と眼の面積による笑いの推定]]
+[[ファイル:Nishimura_4people_graph.png|200px|thumb|right|図3: 口の面積と眼の面積による笑顔の推定]]
-　分析前に目視で動画を観察したところ、ゲーム中に参加者が笑う場面が複数回見られた。そこで、口の面積と眼の面積を各フレームに対して計算し、口の面積が大きく、かつ目の面積が小さい場合を笑顔をみなし、検出対象にすることとした。また、視線の指標として瞳の動きに着目した。図3に示す表情変化のプロットと動画を目視で比較したところ、発話中には口の面積が大きくなり、また笑っている間は口の面積が大きく、かつ目の面積が小さくなる傾向が見られた。一方、視線を推定するには瞳の動きだけでなく顔の方向を検出することで注目の対象をより高い精度で推定できるようになると考えた。
+　分析前に目視で動画を観察したところ、ゲーム中に参加者が笑う場面が複数回見られた。そこで、口の面積と眼の面積を各フレームに対して計算し、口の面積が大きく、かつ目の面積が小さい場合を笑顔をみなし、検出対象にすることとした。また、視線の指標として瞳の動きに着目した。図3に示す表情変化のプロットと動画を目視で比較したところ、発話中には口の面積が大きくなり、また笑顔の間は口の面積が大きく、かつ目の面積が小さくなる傾向が見られた。一方、視線を推定するには瞳の動きだけでなく顔の方向を検出することで注目の対象をより高い精度で推定できるようになると考えた。
 ===顔方向推定===

@@ 1行目: / 1行目: @@
-; 西村英伍 / 九州大学 芸術工学府芸術工学研究院
+; 西村英伍 / 九州大学大学院芸術工学研究院
 : Nishimura Eigo / Faculty of Design, Kyushu University
 ; 末吉孝 / 九州大学大学院芸術工学府
@@ 5行目: / 5行目: @@
 ; 劉瑾 /
 : Liu Jin
-; 尾方義人 / 九州大学
+; 尾方義人 / 九州大学大学院芸術工学研究院
 : Ogata Yoshito / Faculty of Design, Kyushu University

@@ 1行目: / 1行目: @@
 ; 西村英伍 / 九州大学 芸術工学府芸術工学研究院
 : Nishimura Eigo / Faculty of Design, Kyushu University
-; 末吉孝 / 九州大学 芸術工学府
+; 末吉孝 / 九州大学大学院芸術工学府
 : Sueyoshi Kou / Graduate School of Design, Kyushu University
 ; 劉瑾 /

← 古い版	2020年10月16日 (金) 11:28時点における版
(相違点なし)

← 古い版		2020年10月4日 (日) 14:38時点における版
14行目:		14行目:
	: In response to the difficulty of conducting face-to-face workshops due to the epidemic of the new coronavirus infection, online workshops using video conferencing systems are being considered and implemented. In the online workshop, only the faces of the participants and their surroundings can be seen, so it is considered that it is difficult for the operator to intuitively grasp the state of the workshop as in the past. On the other hand, in the online workshop, the faces of the participants are recorded by video from beginning to end, so it is possible to analyze the state of communication and the degree of concentration from the movements and eyes of the participants by video analysis.		: In response to the difficulty of conducting face-to-face workshops due to the epidemic of the new coronavirus infection, online workshops using video conferencing systems are being considered and implemented. In the online workshop, only the faces of the participants and their surroundings can be seen, so it is considered that it is difficult for the operator to intuitively grasp the state of the workshop as in the past. On the other hand, in the online workshop, the faces of the participants are recorded by video from beginning to end, so it is possible to analyze the state of communication and the degree of concentration from the movements and eyes of the participants by video analysis.

−	In this research, we developed a method to quantitatively evaluate the state of the workshop by analyzing the facial videos of participants in the online workshop from the viewpoints of "communication" and "concentration" by video analysis using deep learning. The purpose.	+	: In this research, we developed a method to quantitatively evaluate the state of the workshop by analyzing the facial videos of participants in the online workshop from the viewpoints of "communication" and "concentration" by video analysis using deep learning. The purpose.

← 古い版		2020年10月4日 (日) 14:38時点における版
12行目:		12行目:

	; Abstract		; Abstract
−	: ~~Lorem Ipsum is simply dummy text~~ of the ~~printing~~ and ~~typesetting industry~~. ~~Lorem Ipsum has been~~ the ~~industry's standard dummy text ever since~~ the ~~1500s, when an unknown printer took a galley~~ of ~~type~~ and ~~scrambled~~ it to ~~make a type specimen book~~. ~~It has survived not only five centuries~~, ~~but also~~ the ~~leap into electronic typesetting~~, ~~remaining essentially unchanged~~.	+	: In response to the difficulty of conducting face-to-face workshops due to the epidemic of the new coronavirus infection, online workshops using video conferencing systems are being considered and implemented. In the online workshop, only the faces of the participants and their surroundings can be seen, so it is considered that it is difficult for the operator to intuitively grasp the state of the workshop as in the past. On the other hand, in the online workshop, the faces of the participants are recorded by video from beginning to end, so it is possible to analyze the state of communication and the degree of concentration from the movements and eyes of the participants by video analysis.
		+
		+	In this research, we developed a method to quantitatively evaluate the state of the workshop by analyzing the facial videos of participants in the online workshop from the viewpoints of "communication" and "concentration" by video analysis using deep learning. The purpose.

@@ 39行目: / 39行目: @@
 　先の予備実験ではゲームのルールによって参加者の顔の動きがコントロールされていたが、実際のワークショップではより複雑なコミュニケーションが交わされる。そこで2回目の予備実験では、9人が参加するオンラインワークショップ中のディカッションの一部始終を録画し、解析の対象とした。
-　また1回目の予備実験の所感を反映して、顔の方向から視線を推定する機能を分析ツールに実装した。方法としては、AISTの人体寸法データベースから日本人青年層(18-29歳)男女平均値より、左右の外眼角、鼻尖、左右の口角、左右の耳の7箇所の三次元寸法を基に、二次元平面中の7点の座標から三次元空間の方向ベクトルを算出した。
+　また1回目の予備実験の所感を反映して、顔の方向から視線を推定する機能を分析ツールに実装した。方法としては、AISTの人体寸法データベースから日本人青年層(18-29歳)男女平均値<sup>[3]</sup>より、左右の外眼角、鼻尖、左右の口角、左右の耳の7箇所の三次元寸法を基に、二次元平面中の7点の座標から三次元空間の方向ベクトルを算出した。
 [[ファイル:Nishimura_9people_zoom.jpg|200px|thumb|right|図4: 9人の参加者に対する表情と顔方向の推定]]