人間の脳は人とボールの動きを"区別"する? NTTの映像表現研究

NTTは、メタバース空間等の映像において、人間が人のジャンプ動作と、ボールなどの単純な物体が跳ねる動きを観察した場合、脳の認識のしかたが異なる可能性について研究成果を発表した。メタバース空間などでのよりリアルな映像表現の再現などに貢献する。

映画やゲームのために作成された人物の全身動作や演技、ダンスなどは、場合によっては不自然に見えたり、逆に人並み外れた動作でも自然に見えることがある。人間が身体動作を脳内でどのように処理するかを明らかにすることは、メディアコンテンツでの視覚体験向上のために重要な課題という。

CGなどの映像においてボールのような単純な物体が跳ねる様子を人間が観た場合、地球の重力である1Gを元に作った映像よりも、0.6Gを元に作った映像のほうが自然に感じるという傾向がることがわかっていた。このことから従来は、人間が外界の物体の動きを把握する場合、簡易的な物理モデルを元に判断していると考えられていた。

しかし、今回の研究では、対象がボールではなく人間の場合は、脳がより正確な動きを把握しようとするため、1Gで作った映像のほうにより自然さを感じることがわかったという。

人間は外界物体の動きを視覚情報から予測する機能を持っているが、その予測と実際の動きが合致するかが、外界物体の動きの自然さを知覚するカギになる。脳はボールのような物体の動きについては、より簡易的な物理モデルで動作を予測しており、これによって脳の負担を減らすことができるが、予測結果には誤差が発生する。

しかし、ボールではなく観察対象が人間になった場合は、脳が地球の重力を考慮したより正確な物理モデルを使い、負荷は上がるが正確な重力下での動きを予測できるようなり、予測結果の精度が向上する。これにより、人間のジャンプ動作については、0.6Gではなく、より正確な動きとなる1Gの動画のほうが違和感を覚えにくくなる。

人間が行なう「ジャンプ」動作は、人間にとっての基本動作の一つであり、陸生動物にとって重要な物理法則である「重力」に大きく影響を受ける動作であることから、身体動作の自然さを判断する脳のメカニズムを調べるためには恰好の題材という。ジャンプ動作は複雑な動きを伴い、情報量も多いことから、脳が正確な物理モデルに従うのではないかという仮説の下に実験が行なわれた。

実験では、ジャンプのモーションを被験者に観察してもらい、より自然に見えるものを評価していった。これによると、1G下での動きを元にした動画であれば、ジャンプの高さを変えたり、再生時間を速くしたり変化させても、自然に見えると評価された。いずれもジャンプの軌道が地球上の重力の法則にしたがっている限り、実際には飛べるはずがないような高さであっても違和感は覚えにくいことがわかった。

今後は、動物のジャンプなどを観察した場合や、着座や挙手の動作など重力に影響をうける動作全般への拡張の可能性についても検討。メタバースにおけるキャラクターやオブジェクトなどの動きのリアリティ向上などに貢献する。