サイバーエージェント、70億パラメータの日本語LLM　5万文字を一度に処理

サイバーエージェントは、70億パラメータの日本語LLM(Large Language Model、大規模言語モデル)を公開した。

同社は2023年5月に最大68億パラメータの「CyberAgentLM」を一般公開しており、今回公開されたモデルはバージョン2にあたる。日本語と英語で事前学習した70億パラメータのベースモデル「CyberAgentLM2-7B」と、チャット形式でのチューニングを行なった「CyberAgentLM2-7B-Chat」の2種類が公開されている。

「CyberAgentLM2-7B-Chat」は、入出力の長さとして32,000トークン(≒単語)に対応しており、日本語の文章の約50,000文字を一度に処理できる。

公開されたモデルは商用利用可能なApache License 2.0で提供、「Hugging Face」にて公開されている。