感情・内容に合わせたフォントで音声字幕表示するスマートグラス

スマートグラスへの字幕表示イメージ

大日本印刷(DNP)は、美術館や博物館等におけるガイドスタッフや体験会参加者の音声等をテキストにしてスマートグラスに字幕表示するシステムを開発した。感情や話題に合わせて自動的にフォントを切り替える「DNP感情表現フォントシステム」を活用している。

DNPは、美術館・博物館等に向けて、ヘッドマウントディスプレイやスマートグラスを使用したガイダンスシステムや新しい鑑賞システム等を開発・提供している。その取り組みの中で今回、聴覚障がいがある人と聴者がともに楽しめるサービスの1つとして、MRや文字フォント等の技術・ノウハウなどを掛け合わせ、スマートグラスに音声を字幕で表示するシステムを開発した。

開発ではアイシンと協力。連携により、リアルタイムで音声を認識してスマートグラスに字幕を表示することが可能となった。また、スマートグラスに接続した指向性マイクを解説している人などに向けることで、聞きたい方向の音声を拾って字幕に表示できる。

スマートグラスを装着して鑑賞するイメージ

活用しているDNP感情表現フォントシステムは、テキストデータの内容を自動解析し、表現された感情や話題に合わせて自動的にフォントを切り替えるもの。音声をテキストにした際に、単語が持つ感情やイメージに合わせて、最適なフォントや色を自動的に選択して表示する。

例えば、楽しそうな表現・単語はポップなフォントや明るい色で、悲しそうな表現・単語は繊細な印象のあるフォントや寂しい色で、作品名などは太めのフォントや赤色で表示する。フォントや色が変化することで、感情やイメージを読み取りやすくなるとともに、テキスト内の重要な部分に目が行き理解しやすくなるとしている。

1月27日、28日、2月3日、4日に、東京都庁内にある野外パブリックアートを対象に、このシステムを活用した鑑賞体験会を実施する。参加には申し込みが必要。

今後は、スマートグラスを利用したMR体験について、機能や用途の開発等を継続するとともに、ユニバーサル・コミュニケーションの一助となる製品・サービスを美術館・博物館や企業・自治体等に展開する。