rinnaが日本語特化LLM公開 36億パラメータ

rinnaは、日本語に特化した36億パラメータを持つGPT言語モデルを公開した。汎用言語モデル、対話言語モデルの2種類のGPT言語モデルがオープンソースで公開されている。

rinnaはAI「りんな」などAIキャラクターとの新たなコミュニケーションの形を提供してきたほか、日本語に特化した事前学習モデルを公開している。事前学習した大規模言語モデル(LLM)は英語に特化していることが多いため、rinnaはこれまでに日本語に特化した13億パラメータのGPT(Generative Pre-trained Transformer)などを公開していた。

今回、より利用の幅を広げられるという、日本語特化で36億パラメータのGPT言語モデルをオープンソースで公開することにより、日本語言語モデルを活用した研究・開発がより発展することを期待するとしている。

新たに公開されたGPT言語モデルは汎用言語モデル、対話言語モデルの2種類が用意される。汎用言語モデルは日本語のWikipedia、C4，CC-100のオープンソースデータを用いて学習されているほか、対話言語モデルはHH-RLHF、SHP、FLANの一部を日本語に翻訳したデータで学習されている。商用利用可能なMIT Licenseでの公開。