NTT、物体の「真の色」をLiDARで推定する技術　メタバースに活用

NTTは、撮影された画像から、天候や日照条件に左右されない街本来の「真の色」を推定する技術を開発した。超リアルメタバース空間の構築やその照明制御などに活用する。真の色とは、照明条件によらない物体固有の反射率(アルベド)のこと。今回実現した固有画像分解手法により、影などの照明条件に依存した成分を画像から取り除くことで、任意の照明条件を再現することが可能になる。

同社は、IOWN構想の実現に向け、様々な実世界データのデジタル化に向けた技術創出に取り組んでいるが、その中で、画像・映像を撮影してデジタルデータとして取り込む際、撮影時の照明条件によってAI解析の精度やユーザー体験の品質に大きく影響するという課題があった。

例えば、物体認識や自己位置推定では、撮影時の照明条件が推定精度に影響を与えるため、様々な照明条件下で撮影した画像データを集めて検証する必要があった。また、メタバース空間の構築では、複数のデータを統合する際、さまざまな日照条件で計測したデータがツギハギになり、メタバース空間に撮影時の影が残ってしまう問題もあった。

従来の手法

今回確立した固有画像分解手法により、カメラ等で撮影された画像から影などの照明条件に依存した成分を取り除くことで、照明条件によらない物体固有のアルベドを推定可能になった。

これにより、物体認識において撮影時における照明条件の影響を排除し、より高精度に認識することができ、メタバース空間構築では、影が映っている画像からでも、影を排除し任意の日照条件を再現したメタバース空間を構築できるようになる。

ポイントは、LiDARで計測した反射強度の利用。固有画像分解の精度を向上させるため、太陽光の影響がないLiDARで計測した反射強度を利用することで、効率的な学習を実現した。

LiDARは、レーザーを照射し、その反射光を計測することで3D空間上の距離を計測し、点群として記録する。レーザー照射により能動的に計測するため、反射光計測時に取得できる反射強度(Intensity)が照明条件に依存しない情報としてアルベドを推定する有力な手掛かりとなることに着目した。

従来の固有画像分解では、正解となるアルベド情報が付与されたCG画像から学習する方法(教師有り学習手法)や、事前知識を元にアルベドらしさを反復学習させる方法(教師無し学習手法)などがあったが、実写画像での推定精度の低下や、日影とテクスチャの区別ができないなど、さまざまな問題があった。

今回の提案手法では、LiDAR反射強度を併用することで日影とテクスチャを区別して学習でき、教師無し学習手法の中では最高精度を達成。教師有り学習手法と比較しても遜色ない精度を達成したという。

今後は、本技術を画像認識やメタバース空間構築などにも適用することで、より高品質なサービスの確立に貢献する。研究成果は、国際会議CVPR(Conference on Computer Vision and Pattern Recognition)2023に採択されている。