解析ソフトOpenPoseによる行為分析及びデザインへの活用

鈴木智畝/ 九州大学大学院 芸術工学府未来共生デザインコース１年　

SUZUKI Chiune/ KYUSHU GRADUATE SCHOOL OF DESIGN 　

宇治小春 / 鹿児島工業高等専門学校

UJI Koharu / National Institute of Technology, Kagoshima College

臼井遼太郎 / 岐阜工業高等専門学校

USUI Ryotaro / National Institute of Technology, Gifu College

吉永小晴 / 阿南工業高等専門学校

YOSHINAGA Koharu / National Institute of Technology, Anan College

後藤汰誓/ 熊本工業高等専門学校　

GOTOU Taisei / National Institute of Technology, Kumamoto College

立石陸人 / 有明工業高等専門学校

TATEISHI Rikuto / National Institute of Technology, Ariake College

Keywords: Action Analysis , Barrier to Knowledge　

Abstract

Using the analysis software Openpose, we analyzed daily　activities and the writing behavior intellectual disabled children. In addition, its application to design was examined. Analysis of the writing movements of mentally challenged children suggested that the smoother the writing, the clearer the pattern of acceleration, and that when the recognition of letters is ambiguous, the movement approaches a constant velocity movement.

背景と目的

デザインを行なう上で、行為を分析することは重要なプロセスである。しかし、目視のみでの観察には限界がある。一方、行為分析により行為を量化・視覚化すれば、動作の加速度といった目視だけでは把握しきれない情報を収集したり、行為同士の比較や相関関係の検討も可能になる。また、こうした行為の量化・比較を目視による質的観察へのフィードバックとして活用することで新しい視点を得ることもできる。今回は撮影した行為をOpenposeにより解析し、デザインへの活用を提案することを目的に、[1]高専生とのワークショップによる日常動作の分析、[2]知的障碍を持つ子どもの筆記動作の分析を行った。

方法

[1]高専生とのワークショップによる日常動作の分析

高専生とのワークショップでは日常における動作を撮影し、Openposeにより行為分析を行なった。撮影した行為と分析項目については以下の通りである。

①スニーカーとパンプスによる階段の登り降り

分析項目：体の右側の腰から踵までの距離

②シャープペンシルでの筆記、消しゴムでの字の消去

分析項目：右手・左手の移動量、移動速度

③弓の構えと矢の発射

分析項目：右肩と左肩との距離、腰の左右方向の動き

④菓子袋の開封

分析項目：右手と左手の離れ具合とその加速度

[2]知的障碍を持つ子どもの筆記動作の分析

今回は言語聴覚士2名の協力のもと、知的障碍を持つ子どもの筆記動作を撮影し,Openposeを用いて筆記動作を解析した。撮影は10分間で子どもの知的訓練中に行い、日頃の訓練と同じ環境にすることで子どもたちの自然な動作を記録した。対象児童１・２の訓練内容は、まず言語聴覚士がマス目にひらがなを書き、次に児童がその上を鉛筆でなぞり書きするというもので、これを１文字ずつ繰り返した。複数のひらがなを練習していたため、対象児童１では「か」という文字を３回練習する部分を、対象児童２では「え」という文字を３回練習する部分を切りとって分析を行った。 対象児童３は、表に「いぬ」、裏に犬のイラストが描かれたカードを見て、名称を記憶し、イラストの方を見ながら「いぬ」という文字を筆記するという訓練であった。

撮影児童の年齢、性別、利き手、及び分析項目は以下の通りである。

対象児童１：5歳、男性、右利き

対象児童２：6歳、男性、左利き

対象児童３：6歳、男性、右利き

分析項目：右手・右肘・右肩・胸・左手・左肘・左肩の速度、加速度

結果と考察

[1]高専生とのワークショップによる日常動作の分析

①スニーカーとパンプスによる階段の登り降り

腰から踵までの距離の変化の仕方は靴を変えても同じであった。変化する可能性があるものとして身体の角度、脚の動く距離、腕の振り方、手の位置が考えられる。また、映像からパンプス時は前のめりで手が後ろにあるため、パンプスを履いている時のほうが重心が前の方にあると考えられる。

②シャープペンシルでの筆記、消しゴムでの字の消去

消しゴムを置く時よりもシャープペンシルを置く時の方が速度が小さい。理由としてはシャープペンシルだと芯が折れる等の危険性があるため、無意識に丁寧に置く等が考えられる。映像からは消しゴムの使い方が人によって大きく異なることが分かった。

③弓の構えと矢の発射

矢を放つ瞬間は急激にグラフの振れが大きくなる。一般的に矢は自然な流れで静かに放つのが良いとされるため、振れが小さいほど的に中りやすくなる可能性がある。また、腰の左右方向の動きはほぼ無いに等しかった。改善点としては実際の身体の動きと肩幅の距離が合っていないところがあったため体の正面から撮影することでより正確な値が計測できると考えた。

④菓子袋の開封

開ける直前の両手の離れ具合が最も小さい被験者が最もスムーズに開封していた。また、開けた瞬間の加速度についてはあまり差が出なかった。

[2]知的障碍を持つ子どもの筆記動作の分析

対象児童１

３回の筆記練習を比較したところ、右手（利き手）の速度について、２回目と３回目の筆記動作には特徴的な山が３つ見られたが、１回目は確認できなかった。筆記中の加速度についても１回目よりも２、３回目の方が差が大きい結果となった。また、１回目に比べ、２回目、３回目は１文字を書き切るまでの時間が短くなっていた。以上のことから、文字の形を認知しスムーズに書けるようになると速度の強弱やパターンが表出してくるのではないかと考えた。 肘や肩の運動については、肘があまり動いていないにも関わらず肩の速度が大きくなっている部分が見られた。一方、胸の動きに関してはあまり大きなブレはなかった。

対象児童２

１回目と２回目のなぞり書きを比較したところ、対象児童１のような特徴的な波形が現れることはなかった。一方で、３回目の字を思い出しながら書く練習では、手、肘、肩の動作速度が落ちていた。加速度に関しても差が少なくなっており、特に肘の動きが速度、加速度共に小さくなっていた。 ３回目の「え」の練習はなぞり書きではなく、自ら記憶した字を書いていた。この時、対象児童２は「え」の横棒の部分を右から左に向けて逆向きに書いていた。以上のことから、文字の形や方向、書き順の認知が曖昧で、思い出しながら書いている時は動きが当速度に近く、ゆっくりになる可能性があると考えた。

対象児童３

対象児童３は、利き手以外に胸の動きが大きいのが特徴であった。特に「い」から「ぬ」に移行する際、「ぬ」の最後の交差する部分を書く際に大きく動いていた。児童は「ぬ」の筆記中、「ぬはちょっと難しいな」と発言していた。特に最後の部分は鉛筆を小さく回転させなければならず、その際に上半身を動かした勢いで筆記を行っている様子が観察された。

今後の展望ー知的障碍を持つ子どもの筆記動作の分析ー

分析する項目について、今回は上半身の動きのみに焦点を当てていた。しかし、筆記動作には体幹や視線の動き等も関わってくるため、画角の調整やカメラの台数を増やす等の改善を行い、体の他の部位の測定も進めていく必要がある。また、調査対象に関しては知的障碍を持つ子ども2名のみであったため、今後は人数を増やして分析を行い、分析結果を各児童の発達度合いと照らし合わせたり、健常児との比較を通して、知的障碍をもつ子どもの筆記動作の特性を明らかにする。明らかになった動作特性と、子どもの教育に関わる保護者、学校の先生、言語聴覚士へのインタビュー調査を組み合わせることで、発達度合いの新しい評価方法、教材、筆記具などのデザインを行なう。教材や筆記具に関しては使用している様子の分析とデザイン改善を繰り返すことで、提案を現実的なものにしていく。

参考文献

池田千紗、中島そのみ、大柳俊夫、後藤幸枝、仙石泰仁.児童における描画特徴、書字の読みやすさ及び運筆動作に影響する運動機能の特性.作業療法.２０１６.３５.p138~148