rinna、日英バイリンガルの大規模言語モデルをオープンソースで公開

rinnaは、日本語と英語のバイリンガル大規模言語モデルを開発、商用利用可能なオープンソースで公開した。対話言語モデル、画像対話モデル、長文入力が可能な言語モデルも公開されている。

rinnaは5月、人間の評価を利用した強化学習(Reinforcement Learning from Human Feedback; RLHF)に成功、日本語に特化した36億パラメータを持つRLHF GPTを公開し、累計で360万回以上ダウンロードされるなどしている。

今回開発されたのは、約40億パラメータを持つ日本語と英語のバイリンガルGPT。日本語と英語のテキスト生成が可能で、学習データにオープンデータセットを用いた透明性の高さも特徴。LLMとしては少量のパラメータ数で、推論や追加学習(QLoRAなど)を一般コンシューマー向けGPUでも実行可能。すでに公開している日本語特化モデルの能力を維持しながら英語の能力を獲得できたとしている。

対話言語モデルの出力例(緑がユーザー入力、白がモデル出力)

さらに、この汎用言語モデル(rinna/bilingual-gpt-neox-4b)をベースに、入力テキストの上限を拡大するように追加学習した長期コンテキスト言語モデル(rinna/bilingual-gpt-neox-4b-8k)、対話形式でユーザーの指示を遂行するように追加学習(Supervised Fine-Tuning; SFT)した対話言語モデル(rinna/bilingual-gpt-neox-4b-instruction-sft)、テキストと画像のマルチモーダル入力を可能とするよう追加学習した画像対話モデル(rinna/bilingual-gpt-neox-4b-minigpt4)の開発にも成功している。

これら4種類の事前学習モデルが、商用利用可能なライセンスで、オープンソースとして公開される。

画像対話モデルの出力例(画像とオレンジがユーザー入力、グレーがモデル出力）

今後は、今回開発したモデルの大規模化や、画像入力だけでなく音声を入力とするマルチモーダルモデルについて研究・開発を行なっていく予定。さらに、AIの社会実装を進めるためにパートナーを広く募集するとしている。