メルカリ、“指差し”で商品価格表示する新技術。ARグラスから出品へ #CES2019

フリマアプリ「メルカリ」の研究開発部門である「mercari R4D」は、1月8日から11日まで開催された「CES 2019」にて、ARに関する技術デモンストレーションを展示した。そのデモの様子をお伝えする。

スマートグラスを利用、指差しで価格を確認、サムアップでブクマ

mercari R4Dのデモは、スマートグラスを開発するVuzixのブースで行なわれた。公開されたのは、Vuzixが発売したスマートグラス「Vuzix Blade」向けのアプリケーションだ。

Vuzixのスマートグラス「Blade」。メガネのデザインをあまり崩さない製品で、単体動作する。アメリカでは999.99ドルで販売が始まった。日本でも12万円で発売されることが発表されている

デモは次のような内容になっている。

利用者はまずVuzix Bladeをかける。そして、目の前にある現実のものを見て「指差し」を行なうと、その製品の詳細と価格がグラス内にARの形でポップアップする。

商品の方を指差すと、Vuzix Bladeのカメラが商品を確認し、その価格を取得して表示する

実物を認識して、3Dモデルの商品データと販売価格などを表示。写真はMacの画面上だが、実際にはVuzix Bladeのディスプレイを介し、現実内に表示される

その商品が気に入ったら、サムアップ(親指を突き出す)。すると、そのジェスチャーを認識し、商品は「お気に入り」に登録される。あとから購入することを想定してのものだ。

親指を突き出す「サムアップ」の形を認識すると、その製品が「お気に入り」として登録される

筆者も実際に体験。シンプルな操作ですばやく製品の価格などを呼び出すことができた

画像認識を含めたすべての機能はVuzix Bladeのカメラから取得した映像を、Blade内のプロセッサー(クアッドコアのARMプロセッサ)を使ってローカル処理されており、ネットワーク接続は必須ではない「エッジ型」の構成だ。

mercari R4Dでこのデモを開発した、XRリサーチエンジニアの栁澤慧氏は、「メルカリで多数の商品を見つけるために、こうしたやり方がいいと考えた」と話す。

開発を担当した、メルカリ・R＆D XR リサーチエンジニア・マネージャーの諸星一行氏(左)と、同・XRリサーチエンジニアの栁澤慧氏(右)

画像認識におけるポイントは、「指差した場所にある商品のみを認識する」(栁澤氏)こと。多数の商品を勝手に認識するのは問題もあり、明確に自分が指差した領域だけを切り取り、認識を行なうようになっている。

メルカリには大量の製品があるので、すべての商品を認識するのは難しい。そのため将来的には、まずは端末内で大まかな商品のジャンルを抽出し、その上でネット上のメルカリのデータと価格や商品情報を照合する、という手法を検討している、という。

ハンドジェスチャーをパテント登録。将来は「スマートグラスから簡単出品」

メルカリがこうしたアプリケーションを開発する理由は、商品の検索に加えて出品をより手軽にすることにある。

メルカリ・R＆D XR リサーチエンジニア・マネージャーの諸星一行氏は、「将来的には、このアプリで出品したいものを選ぶと、自動的に価格や商品情報がわかったうえで、出品の手続きまでできるようにしたい」と話す。

ポイントになるのは、このアプリで使われている「ジェスチャー群」にある。指差しで商品を選ぶこと、サムアップで「お気に入り」にすることに加え、指二本を動かすことでAR上の画像を選んで動かす、といったジェスチャーの実装が検討されており、これらはどれも、メルカリがパテントを取得している。

ARグラスやスマートグラスは、2019年から20年にかけて、数多くの製品が登場する。CESでも多数の機器が展示されたが、こうした機器で自然なショッピングを行なうことが、今後より重要になる。

ARでは、現実とネットの情報の連携が重要になるが、その時にはその時にふさわしい操作系が必要になる。メルカリとしては、こうしたアプリの開発を通し、ARに求められるUIを考えていきたいのだろう。

今回のデモの開発は1カ月以内という短い時間で開発されたものだが、ベースとして、画像認識による商品検索や指によるジェスチャーなどがあったために実現されたものだ。

今後は「まず、Vuzix Blade向けのアプリとして提供したい」と栁澤氏は言う。Vuzix Bladeはアメリカではすでに出荷されてり、日本でも発売が予定されているため、我々が実際の環境で試せる日も、そう遠くないかもしれない。