Stability AI、新たな言語モデル「StableLM」 オープンソースで省サイズ

Stability AIは、AIの言語モデル「StableLM」を発表した。アルファ版として提供が開始されている。小型で効率的な言語モデルであることが特徴としている。

StableLMは、ユーザーの質問に対して、文章やプログラミングのコードを生成して返答できる大規模言語モデル。AIチャットボットのように、さまざまなアプリケーションで活用されることで、こうした基盤AI技術をすべての人が利用できるにするとしている。

StableLMの大きな特徴とするコンパクトさは、モデルに含まれるパラメータ数で表されている。アルファ版では30億個のパラメータと、70億パラメータのモデルが用意され、今後は150億パラメータと650億パラメータのモデルも追加される予定。

これは、他社による、大規模化している既存のAI言語モデルと比較して大幅に小さいサイズになっている。例えば、2020年に登場し注目を集めるOpenAIの「GPT-3」は、45TBのテキストデータを使い、1,750億個のパラメータで構成されていることが知られている。現在こうした大規模化は有効とされており、Googleや中国政府出資の研究機関が開発している言語モデルには、パラメータ数が1兆6,000億を超えるものもある。

同社は70億パラメータのモデルによる会話の回答サンプルを公開、StableLMが効率的で、自然な回答を生成する様子を示している。

StableLMはオープンソース言語モデルとして学習に使うデータセットを公表、詳細も公開される予定。このデータセットの豊富さにより、従来よりもコンパクトなサイズながら、会話やコーディングで驚くほど高い性能を発揮するとしている。

70億パラメータのモデルによる回答サンプル

また研究用モデルとして微調整(適応)したセットも公開。会話型エージェント用として5種類のオープンソースデータセットを組み合わせたもので、非営利のCC BY-NC-SA 4.0ライセンスで公開されている。

Stability AIとは

StableLMを発表したStability AIは、テキストで指示するとAIが画像を生成する画像モデル「Stable Diffusion」(ステーブル ディフュージョン)を2022年に公開している。背景や過程が公開されていないそれまでのAIと比較して、プラットフォームの透明性を高めたのが特徴とし、オープン化され自由に拡張できることから多くのユーザーが誕生、クリエイティブシーンに大きなインパクトを与えている。

同社は「みんなが作る、みんなのためのAI」を標榜。透明性を高め、オープンソースを採用し、ユーザー自身のデバイスでモデルを実行できるような設計が特徴という。また「ユーザーを置き換えるのではなく、ユーザーをサポートするモデルを構築する」とも表明、「神のような知性を追求するものではなく」、実用的なAIの性能に重点を置くとしている。