Google、文脈に沿った翻訳に対応 ビジュアル検索で「カメラはキーボード」

Googleは8日、Google 翻訳の強化を発表した。文脈を理解した翻訳や新たなデザイン、対応言語の拡大などを行なう。

Google 翻訳では2月中に文脈に沿った翻訳を強化。夕食にバス(bass)を頼む場合や、夜のジャムセッションでベース(bass)を弾く場合など、文脈を正確に、意図に応じた言い回しや適切な言葉で翻訳するという。英語、フランス語、ドイツ語、日本語、スペイン語で数週間中に開始する予定。

また、AndroidのGoogle 翻訳アプリも刷新し、入力のためのキャンバスを大型化。会話や音声入力、レンズカメラによる翻訳などを使いやすくした。iOSも数週間後に対応予定。

さらに、テキスト翻訳だけでなく画像の翻訳に対応。Google レンズで、画像内のテキストを翻訳するだけでなく、画像がどのようなものかをテキストで翻訳。画像にテキストが含まれる場合は、任意の言語に変換して画像に馴染むように自然に表示する。

Googleでは「カメラは次のキーボード」と強調しており、ビジュアルからのテキスト抽出や検索対応などを強化していく。

ビジュアル検索を強化

検索においても、画像や動画などAIを使った「ビジュアル検索」を強化する。見たものを「そのまま検索」という新たな検索の形を提案している。

Google レンズは、カメラや写真から目の前にあるものを検索したり、テキストを抽出したりといった機能が提供されている。現在月に100億回以上利用されいるが、さらにレンズの機能を強化。現在は、レンズにより、カメラや写真を使った検索を検索バーから行なえるが、これを画面に表示されているものを直接検索できるように、アップデートを行なう。

今後数カ月中に、Androidスマートフォンで、Google レンズを使った「画面内検索(search your screen)」に対応。写真やビデオに写っているものを、そのアプリから離れずにすぐに検索できるようになる。

例えば、パリからビデオメッセージが送られてきて、その背景となるランドマークを調べる場合、Androidスマホの電源ボタンかホームボタンを長押しして、Googleアシスタントを呼び出し、Searchをタップするけで、その場所を「ルクセンブルク宮殿」と認識。クリックすると詳細を確認できる。

また、写真とテキストを同時に検索することができるマルチ検索の対応も開始。Google レンズから抽出した椅子の写真から[ベージュ]を入力すると、ベージュ色の類似の椅子の画像やショッピングサイトを検索できるようになる。

マルチ検索は、Google レンズが利用できるすべての国と言語のモバイルデバイスから利用可能。