慶應義塾大学、ヤフー株式会社Yahoo! JAPAN研究所、東京工科大学の研究グループはスマートフォンのフロントカメラで撮影した顔写真を用いて、機械学習でスマートフォンがどの様に把持されているかを推定する新手法を開発した。
多くのスマートフォンアプリケーションでは右手親指での操作を前提に画面表示が設計されている。大画面化が進むにつれ、他の把持姿勢では操作しづらい場合がある。スマートフォンの把持姿勢（どの手で持ちどの指で操作するか）を推定することで把持姿勢に合わせた画面表示が可能になるが、センサの外付けの必要や、推定モデルがスマートフォンの機種に依存するなどの課題があった。
スマートフォンの画面は光を発するため、顔の正面の位置にスマートフォンを持つと画面の形をした角膜反射像が映るが、画面上に指を置いている部分は影となり、その部分のみ角膜反射像が欠ける。把持姿勢に応じて角膜反射像の欠け方が異なるため、内蔵のフロントカメラで顔写真を撮影し、顔写真から瞳に映る角膜反射像を切り取り、機械学習で角膜反射像を分類すれば把持姿勢を推定できると、研究グループは考えた。この手法では内蔵フロントカメラのみを使用するため、スマートフォン単体での把持姿勢の識別が可能で、推定モデルはスマートフォンの機種に依存しない。
実験協力者13名を対象に把持姿勢の識別が可能か検証した。深層学習を用いて推定モデルを作成した結果、85％の精度で把持姿勢を識別した。今後、本手法の組み込みによるスマートフォンアプリケーションの操作性向上や、長時間同じ把持姿勢でのスマートフォン使用に起因する疾患の予防に役立つことが期待されるとしている。
