LGエレクトロニクスの液晶モニター「E50VR」シリーズには「超解像技術」が搭載されている。

　「超解像技術」については前回のE2350VR評価レポート編でも簡単に触れられているが、今回は、これがどういった技術なのか、基本的な概念を解説すると共に、実際にE50VRシリーズに搭載された超解像技術がどういったものなのかについて詳解していきたいと思う。

　なお、今回の記事作成にあたっては、LGエレクトロニクスのピョンテック　デジタルパークに赴き、開発担当者への取材を行った。

LGエレクトロニクスのピョンテック　デジタルパークに弾丸取材を敢行！ 開発担当者に直接、話を聞いた

　まずは、基本事項から整理していこう。

　E50VRシリーズに搭載され、最近、高性能映像処理の代名詞的に応用される「超解像技術」とは何か…これをまず整理したい。

　今、解像度が無限大といえる現実の情景をカメラで撮影したとすると、カメラの撮像素子(CCDやCMOS)の解像度で撮影がなされるため、生成される映像の解像度は有限なものとなる。当たり前のことだ。

　たとえば、カメラの撮影解像度が1920×1080ドットのフルHD解像度だったとすれば、撮影された映像は、解像度無限大からフルHD解像度へ解像度変換されたことになる。つまり撮影された映像は、この撮影時の実質的な解像度変換によって情報が少なからず失われたことになる。

　超解像処理は、こうした解像度変換時に失われてしまった解像度情報を、各社独自の知識モデルや推測アルゴリズムを活用して予測し、表示映像に加味していく処理系のことだ。

　もうちょっと分かりやすい具体例を示そう。

　仮に、ある映像を1/4の解像度に変換したとする。この場合、元映像の4ピクセルが1ピクセルになってしまうことに相当する。この1/4解像度になってしまった映像を、なるべく正確に元の解像度に戻すことを試みるのが超解像度処理なのだ。

　例え話なので話を簡略化するために白黒映像の話にするが、今、1/4解像度変換によってある1ピクセルの値が"5"になってしまったとしよう。元映像の4ピクセルが平均化されて"5"になってしまったとすると、元映像の4ピクセル分の合計値は"20"となる。これが4ピクセルとも同じ5,5,5,5なのか、それとも2,8,6,4なのかは分からない。合計値が20になる組み合わせは無数にあるからだ。


　しかし、映像はランダムな数値配列ではなく、その近隣ピクセルとの相関性がある。この相関性を用いれば正解に近い元の4ピクセルを算出できるかも知れない。これが超解像処理の考え方の基本だ。なお、今の例で、5,5,5,5と平均化してしまうのが、最も単純な線形補間による解像度変換になる。

　それでは、LGエレクトロニクスのE50VRシリーズに実装された超解像技術とはどのようなものなのか、見ていくことにしたい。

　まず、LGエレクトロニクス・チーフリサーチエンジニアであるキム　ソンファン氏によれば、「E50VRシリーズに搭載された超解像技術はシンプルかつ高速なアルゴリズムである」という。

　組み込み対象製品がテレビではなく、液晶モニターであったことから、なにより高速性の実現とコストバランスを心がけて開発がなされたとのこと。

ユン　シヨル氏（左）と キム　アリョン氏（右）

キム　ソンファン氏

ソン　ソンホ氏

　多くのテレビ向けの超解像技術では、高品位な超解像処理を行うために、フレーム内探索を行うために、映像を溜め込むフレームバッファ(メモリ)を用意するが、E50VRの超解像処理ではラインメモリしか必要としない実装としていて、製品価格の上昇を抑えている。

　とはいえ、採用されている超解像処理のアルゴリズムは「再構成型」のアルゴリズムに準じたものとなっており、「超解像」の名に恥じない処理系となっている。具体的にどんな処理系かを見ていくとしよう。

　下図を見て欲しい。これがE50VRシリーズの超解像の処理の流れを解説したブロックダイアグラムになる。


　まず、(1)で仮の高解像度映像を生成する。この際の拡大解像度変換には一般的なバイキュービック法やボックスフィルタ法などが用いられる。

　(2)の部分がLGエレクトロニクス特有の処理系になるのだが、DAFI(Digital Adaptive Fine Image)プロセスと呼ばれる色調調整処理系を通り、色情報と輝度情報が分離されて画質調整が施される。

　(3)では、「元々、このような解像度変換が行われたはず」という仮定の下に、仮に求めた高解像度映像を入力映像と同じ低解像度の映像へと変換する。この部分にも、LGエレクトロニクス独自の知識モデルが利用されることとなる。

　(4)では、入力映像と(3)で生成された映像を比較して差分を算出する。そして、この差分情報を元に、(1)への処理系にフィードバックを掛ける。二回目の高解像度映像生成時には、この差分情報を活かした重み付きの高解像度変換を行うこととなる。例えば、(3)の逆変換によって生成された映像中のあるピクセル値が、入力映像の対応するピクセル値よりも小さくなっていれば、2回目の(1)における高解像度変換時には変換後のピクセル値を大きくするように補正を掛ける。

　数フレームの表示遅延が許されるテレビ向けの超解像処理では、このループを何回か回して、高解像度変換した映像を「推測した正解」に近づけるのだが、E50VRシリーズでは、表示遅延を避けるため、2回以上のループはさせていないという。

　また、前述したようにE50VRシリーズの超解像の処理ではフレームバッファを持たない実装となっているため、処理対象は広範囲には及ばない。とはいえ、数ライン分のラインメモリを持ち、この範囲での処理は行われるため、水平方向だけでなくちゃんと垂直方向の高解像度化にも効く。

　前回の実機評価レポートを見てもらっても気がついたかも知れないが、LGエレクトロニクスの超解像処理は、有効にすると色味まで変わる特徴がある。

　これについて、LGエレクトロニクスの開発スタッフに尋ねてみたところ、やはり前出ダイアグラムの(2)のところにDAFIプロセスが介入することの副次効果なのだという。

　DAFIプロセスは、LGエレクトロニクスの液晶モニター製品に搭載されているf-Engineを構成する色調/階調調整プロセスに相当し、RCM(Real Color Management)とACE(Adaptive Color & Contrast Enhancer)という2ブロックにより構成されている。

DAFIプロセスの図解

　RCMは、いわゆる非線形の色補正ロジックで、簡単に言えば色調を記憶色方向に補正する役割を果たす。E50VRの超解像処理においては、このRCM機構を連携させることで、超解像処理時の陰影の強調を、色度方向にも拡張させる役割を果たすのだ。

RCMの効果の例

　一方、ACEのほうは、適応型のコントラスト補正ロジックになる。具体的には、入力映像を、より自然で、なおかつ適度にくっきりとした見え方になるようにリアルタイムのガンマ補正を行う。

ACEは適応型のコントラスト補正システム

　アルゴリズム的には輝度値のヒストグラムを算出して、その輝度値の分散率から適応型のガンマ補正を行うものとなっている。例えば明るい映像ならば、暗部を適度に沈み込ませつつ、明部の飛び気味の階調にリニアリティを与えるような補正をし、暗い映像ならば暗部の沈み込みを破綻させない程度に階調変化のダイナミックレンジを広げる。

明るい映像の処理例

暗い映像の処理例

　RCMとACEは単体でも効果を発揮するものであり、だからこそLGエレクトロニクス製のLED液晶モニター製品には、これらを高画質エンジンとして構成したf-Engineを内蔵しているのだが、E50VRシリーズでは、このf-Engineと超解像処理を一体連携させることで、超解像処理のアーティファクトを抑制させることにも一役買っている。

　これはどういうことか。

　一般的に、超解像処理を行うことでピクセル輝度が先鋭化されることがあるが、映像の種類や周辺のピクセルの配置によっては過剰に先鋭化してしまう場合がある。これは階調飽和となってしまい見た目として不自然となる。これが超解像処理のアーティファクトになる。E50VRでは、この超解像処理とf-Engineの連携によって、先鋭化による階調飽和がに適度に抑制されるのだ。

　E50VRの超解像処理は、色味のダイナミックレンジを広げつつも、コントラスト感の補正も同時に行われるため、解像感の向上と自然な階調変化の両立を実現するのである。

解像感の向上と自然な階調変化を両立

　E50VRシリーズの超解像処理は、ラインバッファベースのシンプルな処理系だということがわかったと思う。これは、妥協というよりは、「表示遅延が許容されない液晶モニターに搭載するための要求仕様」という言い方のほうが正しい。実際、超解像処理の有効/無効で表示遅延の変化はないとのことで、これはE50VRをゲーミングモニターとして活用したい人にとってはこの上ない朗報のはずだ。

　また、f-Engineとの連携した超解像処理は色味の拡張と、適性なコントラスト感、飽和を抑制した階調表現といったユニークな高画質化効果をもたらすことになり、これは写真鑑賞、動画サイト鑑賞、DVDやブルーレイ鑑賞において高い満足度が期待できることだろう。

　「超解像処理」は、魅惑のキーワードであるため、その処理内容をブラックボックス化しているメーカーも多いが、LGエレクトロニクスの場合は、「こういう処理系である」とアピールしている様が潔い。むしろ、このように処理内容を公開してくれていたほうが、ユーザー側としては使いどころを的確に見出せるようになるのでありがたい。

　さて、今回のレポートでは、LGエレクトロニクスのLED液晶モニターE50VRシリーズに搭載されている超解像技術についてスポットをあてて解説してきたわけだが、このE50VRシリーズの、液晶モニターとしてのスペックやポテンシャルについての紹介は、こちらにレポートしているので参考にして欲しい。

　前回レポートにおいても、超解像処理を有効にしたときの画質変化については実際の表示映像サンプルを用いて紹介はしているが、次回では、今回のE50VRシリーズ特有の超解像アルゴリズムを理解した上で、その効果について考察をしていきたいと思う。

筆者がキム ソンファン氏から実際のアルゴリズム解説を受けている様子

取材に協力してくださったLGエレクトロニクスのスタッフの皆様

(トライゼット西川善司)

▼LG 液晶モニターマニアックス トップページ