プロジェクタ投影で仮想的にディスプレイ化した面を、スマートフォンのようにタッチ操作するためには、追加のタッチセンシング機能を実装しなければならない。しかし、タッチしようとする手にも映像が投影されて手の検出が妨げられることや、1台のカメラだけではタッチの有無や位置を判定することが難しいなど、従来の技術では課題が残っていた。

　こうしたことから、本研究では、プロジェクタの映像に影響されず、かつ1台のカメラで実現可能なタッチセンシング技術の開発を目指した。ローリングシャッターという方式のカメラを用いることで、投影される平面に対して少し上部にある部分だけを数cmの厚みで撮影できるようにした。タッチしているときは指の一部が撮影され、タッチしていないときは指が撮影されない仕組みで、指が面にタッチしているかどうかを1台のカメラから判定することができる。指がタッチした位置情報をコンピュータ処理で投影映像に反映し、タッチ操作につなげた。

　この技術を用いれば、プロジェクタ映像にリアルな手が含まれていた場合でも、従来法のようにカメラが間違って映像上の手を認識することはない。また、センシング領域を平面からやや離れた位置に設定すれば、画面に直接触れなくても指の接近を検知する、タッチレスな「空中操作」にも応用可能だ。
プロジェクタとカメラの組み合わせで、どのような平面でもタッチディスプレイ化でき、かつ比較的安価で簡便な装置として幅広い活用が期待される。

論文情報：【IEEE ACCESS】Touch Sensing for a Projected Screen Using Slope Disparity Gating