慶應義塾大学、ヤフー株式会社Yahoo! JAPAN研究所、東京工科大学の研究グループはスマートフォンのフロントカメラで撮影した顔写真を用いて、機械学習でスマートフォンがどの様に把持されているかを推定する新手法を開発した。

 多くのスマートフォンアプリケーションでは右手親指での操作を前提に画面表示が設計されている。大画面化が進むにつれ、他の把持姿勢では操作しづらい場合がある。スマートフォンの把持姿勢(どの手で持ちどの指で操作するか)を推定することで把持姿勢に合わせた画面表示が可能になるが、センサの外付けの必要や、推定モデルがスマートフォンの機種に依存するなどの課題があった。

 スマートフォンの画面は光を発するため、顔の正面の位置にスマートフォンを持つと画面の形をした角膜反射像が映るが、画面上に指を置いている部分は影となり、その部分のみ角膜反射像が欠ける。把持姿勢に応じて角膜反射像の欠け方が異なるため、内蔵のフロントカメラで顔写真を撮影し、顔写真から瞳に映る角膜反射像を切り取り、機械学習で角膜反射像を分類すれば把持姿勢を推定できると、研究グループは考えた。この手法では内蔵フロントカメラのみを使用するため、スマートフォン単体での把持姿勢の識別が可能で、推定モデルはスマートフォンの機種に依存しない。

 実験協力者13名を対象に把持姿勢の識別が可能か検証した。深層学習を用いて推定モデルを作成した結果、85%の精度で把持姿勢を識別した。今後、本手法の組み込みによるスマートフォンアプリケーションの操作性向上や、長時間同じ把持姿勢でのスマートフォン使用に起因する疾患の予防に役立つことが期待されるとしている。

論文情報:【In Proceedings of the 2022 CHI Conference on Human Factors in ComputingSystems】ReflecTouch: Detecting Grasp Posture of Smartphone Using Corneal Reflection Images

慶應義塾大学
東京工科大学

「実学主義教育」未来社会に向けて、技術の進化に適応できる力を養う

東京工科大学は、実学主義教育を展開し、実践的な専門分野の知識や技術とその基礎・原理原則を身に付けるとともに、国際的な教養や豊かな人間性を養うことにより、社会の変化に柔軟に対応して活躍できる適応力を育んでいます。グローバル化時代に合わせて国際教養スタンダードを定[…]

大学ジャーナルオンライン編集部

大学ジャーナルオンライン編集部です。
大学や教育に対する知見・関心の高い編集スタッフにより記事執筆しています。