Stability AI、1つの動画からマルチアングル生成「Stable Video 4D」

Stability AIは、1つの動画からマルチアングルの動画を生成する「Stable Video 4D」を発表した。Hugging Faceにて公開されている。将来的に、ゲーム開発やビデオ編集、バーチャルリアリティ分野での応用が期待されるとしている。

「Stable Video 4D」(SV4D)は、1つのビデオをアップロードするだけで、8つの新しいアングル/ビューのノベルビュー(新規視点)ビデオを生成するモデル。ユーザーはまず、テーマとなる物体を写した1つの動画をアップロードし、3Dカメラのポーズを指定する。その後、指定されたカメラアングルからの8つの新しい視点の動画が生成され、それらを合成したマルチアングル動画が“4D”として出力される。

揺れる旗の3Dオブジェクトを1視点で写した、ベースになる動画

ノベルビュー(新規視点)からの動画が生成される

ノベルビューが合成されたマルチアングル動画

現在のStable Video 4Dは、8つの視点にわたる5フレームの動画を約40秒で生成でき、全体の4D最適化には約20〜25分かかるとしている。

Stability AIは、ゲーム開発やビデオ編集、バーチャルリアリティなどの分野で、将来的に応用されることを想定。これらの分野では、複数の視点からオブジェクトを視覚化することで大きな恩恵を受け、製品のリアリティと没入感を高めることができるとしている。