ニュース
音情報を文字や手話で視覚化「エキマトペ」 JR上野駅で実証
2022年6月9日 15:45
大日本印刷、富士通、JR東日本、JR東日本クロスステーションは、音の視覚化装置「エキマトペ」を用いて、JR上野駅の1・2番線(京浜東北線と山手線)ホームに流れるアナウンスや電車の発着などの音情報を文字や手話で表現する実証実験を6月15日から12月14日まで実施する。
聴覚に障がいをもつ人をはじめとする駅のユーザーに快適な体験を提供することで、より安全安心な鉄道利用の実現を目指す。
富士通とJR東日本、DNPは、'21年7月に川崎市立聾学校で開催された「未来の通学」をテーマとしたワークショップをきっかけに駅のアナウンスや電車の音といった音情報を文字や手話で視覚的に表現する装置エキマトペの開発プロジェクトをスタート。
エキマトペを活用した第一弾のプロジェクトとして、'21年9月13日から15日の3日間、JR巣鴨駅にて実施した駅ホームに流れる音を視覚化する実証実験で、ユーザーから大きな反響があったことを受けての取り組み。
第二弾となる本実証実験においては、JR東日本クロスステーションが加わり、社会実装に向けてさらなる省スペース化やコスト削減を意識して筐体の改善を図った。また、台東区と連携し、手話サークルやボランティア団体などの活動情報をエキマトペのディスプレイに表示。各コミュニティへの参加を促し、地域のダイバーシティ＆インクルージョンの活性化にも貢献するという。
エキマトペは、ホームに流れるアナウンスや電車の発着音、ドアの開閉音などをマイクで集音し、AI分析でリアルタイムに文字や手話、擬音語、擬声語といった「オノマトペ」に変換して、ホーム上に設置された自動販売機上部の専用ディスプレイに表示する。
音情報の視覚化にあたっては、富士通のスーパーコンピュータ「FUJITSU Supercomputer PRIMEHPC FX1000」で構築したAIの学習モデルを活用し、マイクで集音した駅の音情報を識別。ホームに流れる定型アナウンスは、テキストに変換されると同時に事前収録したJR東日本の駅社員による手話動画とともにディスプレイ上に表現される。加えて、電車の発着音やドアの開閉音などは、手書きアニメーションで表現される。
さらに、駅社員によるアナウンスを、富士通の「FUJITSU Software LiveTalk」でテキスト変換し、DNPの「DNP感情表現フォントシステム」を通じて、文章の内容に適した感情豊かなフォントで表現するという。
