話した言葉を空中3D表示する「空中しゃべり描きアプリ」。三菱電機が開発

三菱電機は、話した言葉を立体的な文字としてスマートフォン画面に3D表示し、動画撮影できる「空中しゃべり描きアプリ」を開発した。新たな動画表現や、SNSなどでのコミュニケーションの活性化を目指して開発し、3月8日から米国で開催されるテクノロジー展示会「SXSW」に出展する。

新たに開発した「空中しゃべり描き UI」は、AR技術を活用し、話した言葉を立体的な文字として携帯端末の画面に3D表示できる。さらに、画面を指でなぞるだけで、話した言葉を瞬時に文字化して配置する。

この空中しゃべり書きUIに動画撮影機能を追加し、3D表示された文字と動く被写体を組み合わせた動画撮影を可能とするのが「空中しゃべり描きアプリ」。画面に表示された空間の好きな位置に文字を配置し、カメラアングルを変えても固定されるため、文字と被写体を組み合わせて撮影して、アイデア次第でユニークな動画表現を可能とする。

また、ARマーカーを検知する技術と組み合わせることで、画像内のARマーカーから文字が湧き出るような表示も可能となる。画面を指でなぞって、線を描く「ARお絵描き」や多言語翻訳機能も備える。

今回開発したのはiOSアプリ。今後、UIの製品・サービスへの適用やアプリケーションの製品化を目指し、操作性や機能の改善を進めるという。