西田宗千佳のイマトミライ
第73回
驚異の実物感。ソニーの「空間再現ディスプレイ」とはなにか
2020年10月19日 08:15
ソニーが10月16日に、面白いディスプレイを発表した。「空間再現ディスプレイ」こと、「ELF-SR1」がそれだ。
元々は1月のCESで技術展示していたものだが、それを製品にまでまとめたものになる。
発表に合わせて実機を確かめる機会があったので、その時に聞いた話も含め、どういう性質のものなのか、今わかる範囲でまとめてみたいと思う。
「そこにある箱をのぞき込む」ような立体感
空間再現ディスプレイは、45度に傾いて設置されたディスプレイ、という趣のものだ。実は下は空洞で、別に機器が詰まっているわけではない。ノートPCのディスプレイのように、一人で覗き込むような形で使うのがベストであるように作られているからだ。
イメージは前掲のPVからも掴めると思うのだが、実際に見るともっとインパクトが大きい。「ちゃんと立体に見える」からだ。
単に立体に見える、というレベルではない。
「そこに小さい箱があって、その中に立体のステージがある」ように見える。
今までにみたこの種のディスプレイとの大きな違いは、解像感が高く映像がスッキリしていること、映像が混ざる「クロストーク」現象がほとんど感じられないこと、顔を左右だけでなく上下や前後に動かしても大丈夫、というところだろうか。
「箱の中にステージがあるように見える」というのは、まさに箱をのぞいている、というか上下左右奥行き、全て「普通に見える」から、である。
面白いのは、手前に「ロゴ」が垂直に立っているように見える表示までできる、ということ。ディスプレイは斜めなので、もちろんそこに壁はない。なのに、「透明な壁があって、そこにロゴが浮かんで貼り付けられている」ように見えるのだ。要はそのくらい、精細感と奥行き立体表現ができる……ということ。
実際に見ていただくのが一番わかりやすいはず。ソニーストア 銀座ではすでに展示が開始されており、ソニーストア 札幌・大阪・福岡天神では10月23日から、ソニーストア 名古屋では11月6日から展示予定だという。お近くの方は、足を運んでいただきたい。
ディスプレイは15.6型/4Kのものだが、そこに「マイクロオプティカルレンズ」(少々工夫した構造だが、いわゆるレンチキュラーレンズの一種)を貼り付けたものになっている。入力はHDMIなので、何もしていない場合、PCの画面が普通に映る。横解像度が若干落ちて見えるが、そのまま仕事にも使える。
CESで展示されたものと仕組みもハードの構造も同じだが、ディスプレイへのマイクロオプティカルレンズ貼り付けの精度などが向上しており、周辺部などでの干渉縞が大幅に減っていた。製品に合わせた追い込みの成果だろう。
出力5.5Wの2.1chスピーカーも内蔵しており、これだけでひととおりコンテンツ視聴も可能だ。
手法は一般的。秘密は「現在の技術進化に合わせた最適化」
ソニーが採用したのは、顔の位置を追尾して、それに合わせて映像の向きを変える手法である。これ自体は珍しいものではない。
先日生産終了した「new ニンテンドー3DS」（2014年に発売された、実質的な第二世代製品）では、顔認識によって視差効果を調整する機能を「3Dブレ防止」として搭載していた。また、テレビで3Dブームが生まれつつあった2010年には、東芝が「裸眼立体視対応レグザ」を作っている。あれも、カメラで人の顔を追尾し、それに合わせて映像を見せることで「メガネをかけずに使える3D」を実現している。どちらも、顔認識を使って3D表現を最適化した、という意味ではソニーと同じである。
そもそも、3Dにならなくていいなら、iPhoneにも似た機能がある。壁紙を設定する際に「視差効果」をオンにすると、iPhoneを動かした時に映像が動き、少し立体的に見える。根本的な原理はこれと同じだ。
では、ソニー方式はなぜ高いクオリティを実現できたのか?
一つは、利用者を1人に限定し、視聴位置もある程度限定したこと。次に、高解像度なパネルを用意しつつ、映像自体の解像度は下げずに済むように工夫したこと。最後は、顔を認識するカメラに特別なものを採用した、ということだ。
ソニーが利用しているのは、産業用の高速イメージセンサーだ。工場のラインでの検品などでは、モノクロだが毎秒1,000フレームの認識を前提としたカメラなどが使われる。今回の製品で使っているものの詳細なスペックは未公表だが、工業用の高速センサーであることは間違いない。これを使うことで、「ディスプレイの映像生成の数倍の速度」で顔の位置を正確に把握し、各コマで「自分の視線位置に合わせた映像」を作る。結果としてブレがなくなり、顔が前後や上下に動いてもそれに合わせた映像を用意できるようになる。
結果として、非常にリアルな表現が可能になった……ということなのだ。
Looking Glassなどとは異なる方向性
逆に言えば、ソニー方式の欠点は「1人でしか使えない」ことにある。また、カメラの認識範囲から外れると正確な像を作れなくなるので、映像をちゃんと表示できなくなる。左右の目に合わせた4Kの映像を全フレーム、コマ落ちなく表示できないと品質が落ちるので、表示のために用意するPC側も、相応の処理性能が必要となる。
だが、最後の部分は、今時のハイエンドゲーミングPCであればカバーできる領域であり、そこまで大きな課題、とは言えないだろう。
ソニーの他にも、裸眼による3Dディスプレイにはいくつかある。
筆者がみた中でもっともクオリティが高く、利用しやすかったのは、「Looking Glass」だ。非常に画像が明るく、楽な姿勢で見られる。特に最新モデルである「Looking Glass 8K」は、32型とディスプレイが大きく、解像度も高く、見やすい。ただし、横方向の立体感再現にとどまる。
ヘッドセット不要で3DCGを立体表示するホログラムディスプレイ
ジャパンディスプレイ(JDI)が開発した「ライトフィールドディスプレイ」も似ている。こちらは携帯電話向けのディスプレイに視差バリアを組み合わせ、最初から多視点向けの映像を入れることで、顔認識を使わずに立体像を表示する。ただしこちらの場合も、横方向の立体感に限定され、解像感が落ちるので「高い解像度のディスプレイを使う」ことが前提となる。先日、開発者向けに開発キットの販売が始まった。
夢の立体ディスプレイ?! “ライトフィールド”で脱部品売りを目指すJDI
ソニー方式は「正面にいる一人」が対象で、これらの方式はもう少し多人数でも対応できる。できることに違いがあり、狙いも違う、と考えるべきだ。
「クリエイター個人向けディスプレイ」としてのニーズが大
こうしたディスプレイは、まずは「デモ用」がすぐに思いつく。カーディーラーなどで、自動車の「立体カタログ」として使うものだ。博物館などで実物展示の代わりに使う、というものもあるだろう。
だがソニーの担当者によれば、「そうしたデモ用途よりも、クリエイター向けのディスプレイとしての用途の方が引き合いが多い」のだという。3Dモデリングを行なっているデザイナーなどが、現在の様子を立体的に把握しながら使うために使う……というものだ。卓上にノートPC的に置いて、確認用ディスプレイとして使うなら、確かに有用だろう。
この製品では、UnityとUnreal Engineの利用が前提となっている。これらのプラグインになっていて、それらゲームエンジン上での表示を空間再現ディスプレイに表示する……というシンプルな仕組みになっている。だから実は、表示だけならアプリを開発する必要すらない。VR向けなどに作られたアプリがあれば、それがほぼそのまま空間再現ディスプレイで表示できる。実際、筆者が試聴したデモの中には、そうして作られたものもある。VR向けのコンテンツだと、左右だけでなく奥行き方向にも作り込んだものが多く、「空間再現ディスプレイには向いている」(ソニー)とのことだ。
50万円と高いものであるが、B2Bならありうる価格帯だ。個人的興味で買うエンジニアやデザイナーも見据えて、今回はいきなり一般市場でも販売することになったのかもしれない。
開発環境前提であり、コンシューマ向けとしてこなれた製品ではないが、こういうものをSDKと一緒にできる限り早く提供するようになったのは、ソニーの一つの変化と言えるのではないだろうか。