楽天、日本語に最適化したLLM「Rakuten AI 7B」

楽天グループは21日、日本語に最適化した高性能の大規模言語モデル(LLM)の基盤モデル「Rakuten AI 7B」や、同モデルを基にしたインストラクションチューニング済モデル「Rakuten AI 7B Instruct」などを公開した。Rakuten AI 7B Instructをベースに、ファインチューニングしたチャットモデル「Rakuten AI 7B Chat」も用意され、楽天の公式「Hugging Face」リポジトリからダウンロードできる。

「Rakuten AI 7B」は、フランスのAIスタートアップMistral AIの「Mistral-7B-v0.1」を基に、継続的に大規模なデータを学習させて開発された70億パラメータの日本語基盤モデル。事前学習は、楽天が設計した内製のマルチノードGPUクラスターで拡張的に行なわれ、大規模で複雑なデータを使用した事前学習プロセスを高速で実現可能とした。

「Rakuten AI 7B Chat」は、「Rakuten AI 7B Instruct」を基にしたチャットモデルで、会話形式の文章生成のためのチャットデータを用いファインチューニングされている。3モデルとも、Apache 2.0ライセンスで提供される。

楽天LLMの特徴は、日本語に最適化された形態素解析器による高い効率性としている。楽天の形態素解析器では、文章の分割単位であるトークンあたりの文字数が増加し、その結果、より多くの情報を単一のトークンに含められる。そのため、従来の形態素解析器と比較して、事前学習や推論のテキスト処理をより効率的に行なえるとする。

Rakuten AI 7B/Rakuten AI 7B Instructは、言語モデル評価ツール「LM Evaluation Harness」の基準において、日本語と英語のLLMの高いパフォーマンスが評価され、高性能と実証された。全3モデルは、文章の要約や質問応答、一般的な文章の理解、対話システムの構築など、様々なテキスト生成タスクにおいて商用目的で使用できるほか、Rakuten AI 7Bを他のモデルの基盤としても利用できる。