ラフスケッチからイラストを生成「Stable Doodle」

Stability AIは、Clipdropの新機能としてラフスケッチをイラストに変換可能なイメージツール「Stable Doodle」の提供を開始した。Stability AIのウェブサイトClipdropで無料で登録不要で利用できるほか、ClipDropのiOS/Androidアプリからも利用可能。ただし、1日の利用に制限時間がある。

デザイナーやイラストレーターなどが、時間をよりクリエイティブに有効活用し、作業効率を最大化するためのアプリケーション。マウスで基本的なラフスケッチを作成し、アートスタイルを選択して「生成」をクリックすることで、ラフスケッチを元にしたイラストを自動で生成できる。

例えば、イスの大まかなラフスケッチを描き、プロンプトを入力すれば、詳細な書き込みがされたイスのイラストを生成してくれる。アートスタイルは、リアルな写真風から映画のようなもの、ファンタジーアートや折り紙のようなものなど14種類から選べる。

Stable Doodleは、「Stable Diffusion XL」の画像生成技術と、「T2I-Adapter」を組み合わせた機能。

T2I-Adapterは、Tencent ARCが開発したコンディションコントロールソリューションで、AI画像生成の精密な制御が可能。既存の大規模な事前学習拡散モデルに学習可能なパラメータを追加することで、スケッチ、セグメンテーションマップ、キーポーズなどの入力条件を追加できる。このフレームワークは、入力ガイダンスのための複数のモデルを同時にサポートし、生成プロセスの制御を強化する。

Stable DoodleにおいてT2I-Adapterは、事前に学習されたText-to-imageモデル(SDXL)にラフスケッチのような追加ガイダンスを条件付け、ラフスケッチのアウトラインを理解し、モデルによって定義されたアウトラインと組み合わされたプロンプトに基づいて画像を生成できるようにしている。