Meta、画像からあらゆるオブジェクトを切り出すAIモデル

Meta AIは、画像の中のオブジェクトを特定するセグメンテーションを行なう専用AIモデル「Segment Anything Model(SAM)」と、そのデータセットとなる10億マスクのデータセット(SA-1B)を公開した。データセットは研究目的のもと、Apache 2.0ライセンスで利用可能。また、WebブラウザでSAMを体験できるデモページ「Try the Segment Anything」も用意している。

セグメンテーションは、画像のピクセルがどのオブジェクトに属するかを特定するコンピュータビジョンの中核的な技術。Meta AIは、SAMについて「画像分割(Image Segmentation)のための最初の基礎モデル(foundation model)」と位置づけている。

SAMは、オブジェクトについて学習済みで、画像や動画に含まれるあらゆるオブジェクトのマスクを生成できる。水中写真などの新しい画像に対しても、追加トレーニングを必要とせず、すぐに使用できるという。

Try the Segment Anything

将来的には、あらゆる画像からあらゆるオブジェクトを見つけ出し、セグメンテーションが必要なアプリケーションでの応用を目指す。

例えば、AR/VR分野では、ユーザーの視線に基づいてオブジェクトを選択し、それを3Dに“リフティング”可能にする。

コンテンツ制作では、コラージュやビデオ編集のための画像領域の抽出など、クリエイティブなアプリでの応用が可能。自然現象を科学的に研究する際にも、動物や物体の位置を特定し、映像の中で追跡するなど、様々な応用例が想定されるという。

またSAMでは、AR/VRヘッドセットからのユーザーの視線などの入力プロンプトも受け取れる。

将来的には、SAMを利用してARメガネで日用品を識別、ユーザーに注意喚起や指示を促すといった利用も可能とする。