パナソニック、1000億パラメータの自社LLM開発　ストックマークと協業

パナソニック ホールディングスとストックマークは、パナソニックグループ専用大規模言語モデル(LLM)「Panasonic-LLM-100b」の開発で協業した。今回開発するLLMのモデルサイズは1,000億パラメータを想定しており、企業が開発する自社専用のLLMとしては国内最大規模となる見込みという。

ビジネス領域における国内最大規模の知識を学習させ、ハルシネーション(事実と異なる内容の生成)を大幅に抑止したとする、ストックマークの独自LLM「Stockmark-LLM-100b」に対し、パナソニックグループの社内情報を追加事前学習させることで、パナソニックグループ専用の日本語LLM「Panasonic-LLM-100b」を構築する。

一般的に国内各社が取り組む自社LLMは、70～130億パラメータの小型モデルを採用することが多いが、今回の取り組みでは、パナソニックグループの社内データを学習させた国内最大級の1,000億パラメータ規模のLLM開発を行ない、パナソニックHDで開発中のマルチモーダル基盤モデルへの統合を目指す。セキュリティ面では、企業の秘匿データを安全性高く学習する仕組みも構築予定。

現在多くの企業で利用されている汎用型LLMには、利用量に応じて課金される利用コストの肥大化や、ビジネスや事業領域に特化したデータが少ないことによる知識不足が課題になっている。これらの解決のために自社LLM開発に取り組む企業も増えているが、汎用モデルをそのままの形で利用するだけでは課題解決は難しい。

今回の取り組みでは、自社のデータをオープンソースモデルに追加事前学習させることで、プロンプトエンジニアリングやRAG(検索拡張生成)、ファインチューニングによるカスタマイゼーションだけでは得られない多くの知識をLLMにあらかじめ学習させることが可能になる。これにより、汎用モデルの学習データにない業界専門用語への対応など、自社独自の知識・ノウハウをLLMに統合するこれらのプロセスを通じ、言語モデルの高性能化や、フルカスタマイゼーションに関する技術の社内蓄積に繋がることが期待できる。

開発したLLMは、将来的にパナソニックHDが開発中のマルチモーダル基盤モデルに統合し、パナソニックHDや各事業会社におけるAI開発・社会実装を加速する。

「Stockmark-LLM-100b」は、経済産業省とNEDOが主催する、国内の生成AI開発力強化を目的としたプロジェクト「GENIAC」への採択を受け、2024年5月に商用利用可能な形式で公開したLLM。

フルスクラッチで開発された1,000億パラメータ規模のLLMで、独自に収集したビジネスドメインの日本語データを中心に事前学習を行なうことで、日本語・ビジネス領域に特化し、ハルシネーションの大幅抑止を実現した。時事性の高い話題にも対応し、ファクトがない質問には回答しない厳密性も持ち合わせるという。