アドビ、動画生成を本格展開　写真から動画も「Firefly Video Model」

プロンプト(英語のみ対応)：赤く光るハートを手に持ったかわいいロボットの、映画のようなリアルで細部まで描かれたショット。照明はゴージャスで、太陽の光が降り注ぎ、ロボットの顔には光と影が入り混じり、強い逆光が当たっている。リアルなディテールと質感で、色調は夢のような、晴れた日のような暖色。被写界深度は浅い。フィルムグレイン。35mmフィルムで撮影。窓から穏やかに差し込む太陽光が、繊細で幽玄な雰囲気を醸し出す。手前に緑色の植物をオフフォーカスで配置。スローモーションで穏やかな動き。カメラは固定されて動かない

Adobeは、「Adobe Firefly」の動画生成モデル「Adobe Firefly Video Model」を10月14日から提供開始した。Adobe Firefly webアプリでベータ版として公開するほか、Premiere Proなどにも順次導入していく。

テキストプロンプトから動画を生成できるほか、「カメラコントロール」と呼ばれるメニューから、動画のアスペクト比やフレームレート、撮影スタイルなどの指定も可能。プロンプトを書かずにもスタイル等を修正できる。画像から動画の生成にも対応する。

Adobe MAX 2024で発表され、Premiere ProやPhotoshopなどにもFirefly Video Modelが導入される。詳細は別記事で紹介する。

テキストから動画生成(ベータ)

Adobe Fireflyにおいて、テキストから画像作成だけでなく、テキストから動画作成に対応した。「テキストから動画生成(ベータ)」では、テキストプロンプトや、さまざまな「カメラコントロール」、参照画像を使用し、タイムラインの“ギャップ”を埋める動画を生成できる。

なお、現時点ではプロンプトは英語のみの対応となる。

例えば動画制作の現場では、音にあわせて動画をつなぎたいが「長さが若干足りない」といったケースが多いという。その場合、別のシーンを繋いで音に合わせるといった作業が発生することがある。テキストから動画生成により、画素材の追加分(Bロール)を自動生成して、少し動画の尺を長くして、動画をうまくつなげるようになる。

Premiere Proでの利用の場合、動画は2秒、オーディオは10秒の拡張が可能で、無駄なカットを入れずに繋ぐ、といった使い方が可能になる。

また、タイムラインに欠けているショットがある場合も、プロンプトを使用して、プロジェクトの完成に向けたインサートショットを生成できる。

プロンプト：夜の路上の真ん中、年老いた男性のシネマティックなクローズアップと詳細なポートレート。照明はドラマチックで、色調は青みがかった影とオレンジがかったハイライト。男性の肌は非常にリアルで、毛穴まで見える。動きは微妙で柔らかい。カメラはフィックス。フィルムグレイン。ヴィンテージアナモフィックレンズ

プロジェクトのイメージ共有にも活用できる。例えば、VFX作業に入る前や撮影現場に戻ってショットを撮影する前に、Adobe Fireflyを使用し、これらのショットを視覚化し、計画することで、撮影班とポストプロダクション間のコミュニケーションを効率化することができるという。

プロンプト：メキシコにある美しく穏やかに照らされたセノーテの中でのショット。水は澄んで青く、夕暮れ時の太陽の光がきらめく。暖色でマジックアワーのような色合い。高品質でシネマティック

プロンプト：広大な赤い火星の上を飛ぶ、シネマティックなドローンショット。陽が昇り始め、地平線が赤く染まる中、風景が眼下を高速で駆け抜けていく。ショットの終わりには、太陽が地平線から顔を出す。

プロンプト：溶岩でできた小さな赤ちゃんドラゴンが火山の中を動き回るマクロショット

また、Adobe Fireflyを使用し、炎、水、光漏れ、煙などの雰囲気を演出する要素を生成し、既存コンテンツに視覚的な奥行きを加えられるようになる。これらの要素を、黒や緑の背景に生成し、Premiere ProやAfter Effectsなどのアドビツール内の描画モードやキーイングによって、既存のビデオに重ねることも可能となる。

プロンプト：黒背景のフィルム調の光漏れ、有機的なテクスチャ、リアリスティック

上の画像をPremiere Proの「スクリーン」描画モードで合成した例

プロンプト：愛らしい目をしたかわいいタコの赤ちゃんが、8本の触手でティーカップを持ち、楽しそうに周りを見回している。3Dレンダリング、エネルギッシュ、ソフトライト、夢のようなボケ味、浅い被写界深度、シネマティック

プロンプト：木製のテーブルの上の「PLAY」という文字を、2Dのカラフルな羊毛や毛糸でストップモーションアニメーション化。ゴージャスで柔らかな日差しが室内を照らしている。色は鮮やかで、素材は柔らかく、魅力的

プロンプト：美しい山並みの上に渦巻くパステルカラー空高くに浮かぶ、ふわふわした虹色の雲から形成された「SUMMER」という文字。2秒後、「SUMMER」という文字は雲とともに消えていく

画像から動画生成

もう一つの特徴が、「画像から動画生成」だ。テキストプロンプトと一緒に参照画像も利用し、ビデオから1つのフレームを抜き出してアップロードするだけで、クローズアップなどの既存のコンテンツの補完ショットを簡単に作成できる。

写真だけでなく、動画から1フレームを抜き出して、Adobe Fireflyの画像から動画生成を使って、動画素材を作成できる。

プロンプト:花が風に揺れている。美しい蝶が花の一つに舞い降りたところ

元のモーションや意図の変更も可能。例えば、編集者が、あるクリップに含まれるアクションについて、再撮影を監督に提案したい場合、同じルックを維持しながら変更がストーリーにどう役立つかを視覚化して伝えられる。

プロンプト：手袋をはめた宇宙飛行士の手がフレームインし、黄色のケーブルの1つを抜く。シネマティック

Adobe Fireflyにおけるプロンプト作成のコツ

動画を作成するための「プロンプト」は難しい。そこで、Adobe Firefly Video Modelでは、カメラの寄り、アングル、カメラモーションなどの「カメラコントロール」を搭載し、プルダウンメニューで画像の変更が可能になる。

また、動画を作成するためには、動画の構造理解も需要だとする。ショットのタイプ＋キャラクター＋アクション＋場所＋スタイルなどをしっかり指定することで、イメージに近い動画を作成できる。

プロンプト例：紙粘土のパンダが折り紙の竹林をのんびりと歩く、シネマティック、かわいらしい、ソフトフォーカス、ボケ効果

• 照明、撮影、カラーグレーディング、ムード、スタイルについてできるだけ多くの言葉を使って具体的に説明する
• あいまいな表現は避け、明確かつ詳細に説明する
• 具体的な動詞や副詞を使ってアクションを定義する
• 多くの形容詞を使って説明する
• 時間帯や天候などの時間的要素を含める
• 必要に応じてカメラの動きを追加する

Adobe Firefly生成AIモデルは、Adobe Stockなどのライセンスコンテンツやパブリックドメインのコンテンツでトレーニングされており、ユーザーのコンテンツは学習には利用しない。また、Fireflyを使って作成したアセットには「コンテンツクレデンシャル」が付与され、クリエイターがコンテンツの帰属表明と来歴証明を行なえる。コンテンツを扱う人や見る人も、どのように作成されたか、AIが関与しているか、などを確認できる。