PC画面の内容について対話できる「Copilot Vision」　米国でプレビュー開始

Microsoftは、PCに表示されている画面の内容について、Copilotと対話できる「Copilot Vision」のプレビュー版を米国で提供開始した。

ユーザーが閲覧しているページをCopilotが認識し、その内容についてユーザーと話し合うことができる機能。Webを閲覧する際に、AIを一緒に活用する新しい方法とし、Microsoft Edgeのみで利用できる。Copilot Visionをオンにすれば、瞬時に画面をスキャンし、AIが洞察を提供する。

例えば、博物館で一日を過ごすための計画を手伝ってもらい、訪問前に知っておく必要のあることをまとめて教えてくれたり、ページに表示されている製品のうち、ユーザーの好みに一致するものを指摘して、ショッピングの手伝いをすることなどもできる。ゲームのルール説明を簡略化して効率良く伝えることも可能。

現在は実験段階での提供のため、一部のWebサイトのみとのやりとりが可能。まずはCopilot Labsを通じて一部の米国のCopilot Proユーザー向けに展開する。