PFN、動画から指の向きや重なりを認識。アバターアニメ制作も自動化

Preferred Networks(PFN)は、深層学習を活用し、特殊なカメラやセンサーを使わずに身体の動きや指先の向きを高精度に認識する3D姿勢推定技術を開発した。

3DCGによる人体シミュレーションによって大量の学習データを作成し、スーパーコンピュータで学習。全身を総合的に認識できる高度な3D姿勢推定モデルを構築した。専用カメラによる撮影や、身体へのセンサー装着の必要がなく、これまで課題となっていた指先の向きや両手が重なる場面などでの誤検出を大幅に削減。スマートフォン等で撮影した動画でも身体細部の動きを高精度にトラッキングできる。これにより、デジタル化が難しかった楽器演奏やスポーツの解析、細かな手作業の技術継承、遠隔診断・リハビリなどへの技術応用が期待でき、アバターアニメーション制作などの自動化も可能になる。

同技術はソフトバンクが開発する、手話と音声による双方向コミュニケーションシステム「SureTalk(シュアトーク)」に採用。手話動画から、指先の向きや身体(手首・肘・肩・首・鼻・腰)の動きをトラッキングし、手話話者個人を特定しない、CGによる統一規格の手話アバター動画を生成するための基礎技術として活用されている。手話では指の動きや手の重なりが語彙の意味に影響するため、指先まで認識できる技術が不可欠。