Sakana AI、世界初の基盤モデル開発自動化　訓練不要で低コスト

日本語画像生成モデル「EvSDXL-JP」で出力した画像。プロンプトは「味噌ラーメン、最高品質の浮世絵、葛飾北斎、江戸時代」など

Sakana AIは、基盤モデル開発を自動化するための仕組みの第一弾として、そのプレプリントとなる「モデルマージの進化的最適化(Evolution Optimization of Model Merging Recipes)」について公開した。

世界初となる「基盤モデル開発の自動化技術」とし、最先端の研究領域である「モデルマージ」手法をベースとしながら、「進化的アルゴリズム」を掛け合わせることで、その効果を別次元にまで向上させることができるという。

モデルマージとは、既存のモデル同士を組み合わせて、新たなモデルを作り出す手法のこと。進化的モデルマージは、多様な能力を持つさまざまなオープンソースモデルを組み合わせることで、新たな基盤モデルを構築する際、組み合わせ(マージ)の具体的方法を、進化的アルゴリズムより自動的に発見するという手法。

例えば、2つのモデル(親)をマージして、新たなモデル(子)を作る場合、子同士を組み合わせて孫を作ることにもつながる。2つの親からいくつもの子が生まれ、さらにその子から、孫、ひ孫が生まれる。さらに異なるマージ手法やパラメータを使うことで、同じ親からでも異なる子供が生まれる。

進化的アルゴリズムでは、こうした組み合わせの中から優秀な子孫だけを選択して、次の交配に進ませる。これを何百世代にわたって適用することで、無数のモデルの組み合わせ・マージ方法が試され、競争を勝ち抜いた最適なモデルが出力される。

こうした無数の方法論を、人間が介在することなく自動的、自律的、継続的に発見できるのが利点。同様のプロセスを手動やあらかじめ定められたプログラムで実行するのは効率的ではないという。

また、これまで困難だとされていた、非英語言語と数学、非英語言語と画像認識など、全く異なる領域の異なるモデルをマージする方法も自動的に発見可能になる。

既存のモデル同士をマージするため、モデルの訓練も不要になり、膨大なコストがかかる現在の基盤モデル開発手法よりも安価にモデルを開発できる。同社によると、大規模モデルの訓練にかかる費用は増大を続けており、こうした手法は費用対効果に優れているとしている。例えば、政府機関や企業などの大規模組織は、完全に独自のモデルを構築するための多大なリソースを投入する前に、プロトタイプ基盤モデルをより迅速に開発できるようになるという。

Sakana AIではこうした手法により、数学的推論が可能な日本語LLM「EvoLLM-JP」、日本語で対話可能な画像言語モデル「EvoVLM-JP」、高度な日本語画像生成モデル「EvSDXL-JP」の3つを構築。それぞれのモデルにおいて、複数のベンチマークにおいて非常に高い性能を達成したという。

Sakana AIは今回の成果について、今後の研究開発の第一歩として位置づけており、今後はNeuroevolution、集合知能、基盤モデルなどの分野を融合する研究に取り組む方針。日本政府からNEDO/GENIACを通じて提供される大規模GPUスーパーコンピューターを活用することで、研究開発を加速させる。