PFN、推論コスト1/10で日本語最高性能モデル開発へ

Preferred Networks(PFN)と、子会社のPreferred Elements(PFE)は、経済産業省と新エネルギー・産業技術総合開発機構(NEDO)が協力して実施する、生成AI基盤モデルの開発力向上を目指すプロジェクト「GENIAC(Generative AI Accelerator Challenge)」の第2サイクル事業者に採択された。

これによりPFNとPFEは、1,000億トークンの高品質データセットを、大規模言語モデル(LLM)を活用して構築。GENIAC第1サイクルで達成した日本語最高性能と同等か、それを超える性能を、10分の1以下の推論コスト(計算力と消費電力)で実現するLLMをフルスクラッチで開発することを目指す。

これまで、LLMの性能をあげるためにはモデルの大規模化が進められてきたが、大規模なモデルは利用時の推論コストが高い。このため、モデルサイズを抑えたまま高い性能を実現できるモデルのニーズが高くなっている。

モデルサイズを抑えたまま高い性能を実現するには、高品質な学習データを利用することが重要になる。しかし、LLMの学習に利用できる高品質な学習データは限られており、特に日本語や専門領域の学習データが足りていないのが現状。

このため両社は、自社開発したPLaMoなどを活用し、日本語・英語あわせて約1,000億トークンの高品質なデータセットを作成する。LLMで作成された公知の学習データセットと比べても最大級で、日本語Wikipediaの約50倍に及ぶ大規模なものになるという。

また、高品質な学習データにより、フルスクラッチで最大300億(30B)パラメータモデルの事前学習、事後学習を実施。Mixture of Expert(MoE)および、状態空間モデルを採用することで、利用時のアクティブパラメータを80億相当に抑え、推論コストを大幅に削減することを目指す。

30Bモデルは、GENIAC第1サイクルの成果物であるPLaMo-100Bと同等またはそれ以上の性能を有しながら、利用時の計算力と消費電力を10分の1以下する目標を掲げている。この検証用に20億パラメータモデルや80億パラメータモデルの開発も行なう予定。

これらの開発を通して取得するノウハウは部分的にPFNのテックブログ等で公開するほか、PLaMoシリーズとして、APIやプロダクトの商用展開を予定している。