PFN、日本語が優秀な小規模言語モデル「プラモ・ライト」提供開始

Preferred Networks(PFN)は、子会社のPreferred Elements(PFE）がエッジデバイス向けに開発する小規模言語モデル「PLaMo Lite」(プラモ・ライト)の提供を開始したと発表した。

PLaMo Liteは、クラウドを介さずに、エッジデバイス上や企業が自社で保有するオンプレミス環境で高速に動作可能な小規模言語モデル(SLM、Small Language Model)。PFEがフルスクラッチで開発した、1,000億パラメータの大規模言語モデル(LLM、Large Langage Model)である「PLaMo-100B」の開発成果を元に、10億パラメータの小型モデルとして構築され、大規模なモデルに比べて計算コストを大幅に削減した。

また、事前学習にはPLaMo-100Bで生成した日本語と英語の高品質なテキストデータを使用し、PLaMo-100Bの事前学習データの2倍となる合計4兆トークンを学習させている。

これにより、PLaMo Liteは日本語性能を評価する各種ベンチマークにおいて、同程度のパラメータ数のSLMと比べて圧倒的に高い日本語性能を示した。Jaster 0-shot、Jaster 4-shotsにおいては、よりパラメータ数の大きなLLMと比べても、遜色ない評価を得ているという。

PFNグループでは、SLMの需要の高まりを受け、今秋に予定している大規模言語モデル「PLaMo 1.0 Prime」に先駆けてPLaMo Lite提供することになった。今後も、LLM、SLM、業界特化型モデル、マルチモーダル基盤モデルなど、さまざまな産業ニーズに対応したモデルの開発を進め、生成AI基盤モデルの社会実装を推進していく。