Google検索AIモード、写真の内容を理解して答える「マルチモーダル機能」

Googleは、検索結果ページで“AIの回答”を指定して表示できる「AIモード」について、Labsユーザーへの提供を開始。あわせて、Google レンズのマルチモーダル機能をAIモードに導入した。

AIモードでマルチモーダル入力が可能になることで、写真や画像をアップロードしてそれについての質問をすると、詳細な回答とともに、関連するリンクが表示される。Lensの視覚検索機能とGeminiのカスタムバージョンによって実現したもので、アップロードした写真などについて複雑な質問を簡単に行なえるようになる。

画像内のシーン全体を理解し、オブジェクト同士の関係性や素材、色、形状、配置なども把握。各オブジェクトを正確に識別することで、AIモードが画像全体とその中のオブジェクトについて、複数のクエリを発行する。これにより従来のGoogle検索よりも幅広く深い情報にアクセスが可能になり、文脈に沿った回答が得られるという。

例えば本棚の画像をみせた場合、各本を正確に識別し、それらに類似したお勧め本の提案が可能。詳細情報や購入リンク付きでリスト表示も可能で、絞り込み検索ができるフォローアップ質問も可能になる。

AIモードはGoogle Labs等に登録すれば誰でも利用可能で、GoogleアプリのAndroid版、iOS版に対応する。