楽天、LLM「Rakuten AI 2.0」と同社初のSLM「2.0 mini」公開

楽天は、日本語に最適化した新たな大規模言語モデル(LLM)「Rakuten AI 2.0」と、同社初の小規模言語モデル(SLM)「Rakuten AI 2.0 mini」を発表した。これらは来春をめどにオープンソースコミュニティに向け公開する予定。

「Rakuten AI 2.0」は、'24年3月に公開した基盤モデル「Rakuten AI 7B」を元に開発された8x7B構成のMoE(Mixture of Experts)アーキテクチャ採用モデル。8つの約70億パラメータで構築された「エキスパート」と呼ばれるサブモデル群から、ルーターが入力トークンに最も適した2つを選び処理する仕組みが特徴。これにより計算効率と性能を両立し、8倍規模の高密度モデルに匹敵する出力性能を、約1/4の計算コストで実現できる。

「Rakuten AI 2.0 mini」は、約15億パラメータの基盤モデルであり、コンパクトな設計が特徴。内製の多段階データフィルタリングやアノテーションを経た日本語・英語データセットで学習し、高精度なテキスト生成を目指す。このSLMは、リモートサーバーへデータを送信せずとも動作が可能で、低遅延やプライバシー保護、コスト効率が求められる特定のアプリケーションに適した形で活用できる。モバイル端末やオンプレミス環境での運用にも向いており、汎用モデルとの差別化を図る。

'24年10月～12月にかけてLM Evaluation Harnessを使用した日本語と英語の能力測定では、「Rakuten AI 2.0」の平均日本語性能は、「Rakuten AI 7B」と比較して8つのタスクで62.93から72.29に向上している。

既存の「Rakuten AI 7B」の事前学習では、楽天が独自に設計したマルチノードGPUクラスターを拡張して大規模な学習プロセスを高速化をした。今回の「Rakuten AI 2.0」「Rakuten AI 2.0 mini」のオープンソースコミュニティへの公開を通じ、開発者や企業がモデルを活用できる環境を整えるとしている。