ヤフー、眼球に映った画面からスマホの「持ち方」推定

ヤフーと慶應義塾大学、東京工科大学は、スマートフォンのフロントカメラ(インカメラ)で撮影された顔写真を使用し、スマートフォンの持ち方などを推定する新手法を開発した。人の眼球の「角膜」に写るスマホの画面を機械学習で認識することでスマートフォンの持ち方を推定できる。

多くのスマートフォン用アプリでは、右手親指での操作を前提に画面表示が設計されているが、スマートフォンの大画面化が進むにつれて操作しづらい場合がある。また、既存の「把持姿勢」を推定する研究では、新たにセンサーを用意する必要があるなど、スマートフォンの機種の違いによって結果に影響がでる課題があった。

今回の技術では、スマートフォン操作時に、画面の光が角膜に反射することで画面の形をした「角膜反射像」が映り、それが「把持姿勢」に応じて異なることに着目。スマートフォンのフロントカメラで顔写真を撮影し、顔写真から角膜反射像を切り取り、機械学習を使って角膜反射像を分類することで「把持姿勢」を推定する。

具体的には、顔の正面位置にスマートフォンを持つと、光を放つ画面の形の角膜反射像が映るが、画面上に指を置いている部分は影となり、その部分のみ角膜反射像が欠ける。把持姿勢に応じて欠け方は異なるため、撮影した画像から把持姿勢の推定が可能になる。

実験では13名の協力者を対象に6種の把持姿勢でスマートフォンを持った状態で顔写真を撮影。検証の結果、85％の制度で把持姿勢を識別できた。

スマートフォンに内蔵されたフロントカメラを使用するため、さまざまな機種に適用可能で、アプリに組み込みやすい。アプリ内で「把持姿勢」を推定することで、ユーザーの利用状況に合わせた画面表示を最適化したり、操作ボタンやキーボード位置の自動切り替えなど、操作性の向上につながるという。また、スマートフォンを長時間同じ姿勢で操作している際にアラートを表示することで、それに起因する疾患の予防に応用できる可能性もあるとしている。

今後は、より実環境に近い状態での大規模な実験を行なうほか、カメラ以外のセンサーを併用したり、推定アルゴリズムの改善を行なうことで、より高い精度の実現を目指す。