PFN、日英言語対応で世界トップレベルのLLM「プラモ」

Preferred Networks(PFN)は、130億パラメータの事前学習済み大規模言語モデル「PLaMo-13B(Preferred Language Model、プラモ)」を、研究・商用で利用可能なオープンソースソフトウェア(OSS)ライセンスで公開した。現在公開されている同規模のパラメータ数の事前学習済み言語モデルと比べ、大規模言語モデルのベンチマーク評価において、日英2言語をあわせた能力で世界トップレベルの性能を示しているという。

開発にあたり、PFNは学習に使用可能なオープンデータセットを独自に収集・加工して、1.4兆トークンの日英2言語のデータセットを作成。また、産業技術総合研究所が保有するAI橋渡しクラウド(ABCI)のNVIDIA A100を480GPU使用し、1カ月弱の学習を行なった。英語に加え、日本語の学習データ量を増やすことで、130億パラメータというコンパクトなモデルでも日英2言語のベンチマーク評価で世界トップレベルの性能を実現し、標準的なGPUサーバーでも利用できる。

PLaMo-13Bの推論に必要なコードおよびパラメータを、研究・商用利用が可能なライセンス(Apache License v2.0)で公開することで、大規模言語モデルを使った様々な研究開発を進められる環境を多くの開発者に提供する。

LLM開発の新会社「Preferred Elements」

また、テキスト、画像、音声、映像、空間情報、ゲノム、センサ値など、様々な種類のデータを扱える高性能なマルチモーダル基盤モデルの開発を強化するため、新会社「株式会社Preferred Elements」を11月1日に会社分割により設立する。これにより、今回公開したOSSより大規模かつ高機能な基盤モデルの開発を加速し、2024年中に商用でのサービス提供の開始を目指しながら、PFNグループが手掛けるプロダクト・サービスでの活用も進める。

今後は、大規模言語モデルの課題として指摘されている偽情報(ハルシネーション)、バイアス、悪用リスクへの対策、事前学習用データの作成・収集に関して、国・大学・企業とも連携を深め、社会や産業のインフラとして活用するための安全性を備えた基盤モデルの開発につなげる。