Stability AI、新たな日本語の大規模言語モデル　商用可能ライセンスで公開

Stability AI Japanは、日本語向け大規模言語モデル「Japanese Stable LM 3B-4E1T Base」と「Japanese Stable LM Gamma 7B」を公開した。どちらも性能評価でクラス最高水準を発揮するとし、商用利用可能なライセンスで公開されている。

日本語向け大規模言語モデル「Japanese Stable LM 3B-4E1T」」は約30億パラメータ、「Japanese Stable LM Gamma 7B」は約70億パラメータのモデル。日本語タスクを用いた性能評価では、同等のサイズのほかのモデルと比較して最高水準の性能を発揮するとしている。

8月に公開した「Japanese Stable LM Alpha」シリーズとは異なり、今回公開されたモデルは、継続事前学習(Continued Pretraining)と呼ばれるアプローチが特徴。これは、英語モデルとして制作・公開された大規模言語モデル「Stable LM 3B-4E1T」「Mistral-7B-v0.1」を元に、日本語の能力を追加した形になっている。

元になったモデルの「Stable LM 3B-4E1T」などは、英語の能力が非常に高く、さまざまな知識をすでに獲得している一方、日本語の能力は低い状態だった。これに日本語のデータでさらに事前学習を行なうことで、日本語の能力を追加したのが、今回のモデルで採用した継続事前学習のアプローチになる。

結果として、今回公開された「Japanese Stable LM 3B-4E1T Base」は30億パラメータであるにもかかわらず、8月に公開した70億パラメータの「Japanese Stable LM Alpha」を上回る性能を発揮。性能評価テストの結果も公開されている。