ソフトバンク、国産LLMの開発を本格化　24年に3500億パラメーター

ソフトバンクは31日、生成AI開発向けの計算基盤の稼働を開始したと発表した。ソフトバンク子会社のSB Intuitionsは、この計算基盤を活用して、日本語に特化した国産大規模言語モデル(LLM)の開発を本格的に開始し、2024年内に3,500億パラメーターの国産LLMの構築を目指す。

今回構築した計算基盤は、NVIDIA Tensorコア GPUを2,000基以上搭載したAIスーパーコンピューター「NVIDIA DGX SuperPOD」、「NVIDIA ネットワーキング」、「NVIDIA AI Enterprise」ソフトウエアで構成された大規模クラスター。国内最大級の計算基盤となり、まずソフトバンクとSB Intuitionsで段階的に利用しながら、2023年度中に全ての投資と構築を完了。早期に大学や研究機関、企業などに提供する予定。

SB Intuitionsは、この計算基盤上で、大規模言語モデルの学習に必要なデータセットやツール、追加強化学習モデルなどの開発を行なうソフトバンクの子会社。計算基盤の稼働開始に伴い、SB Intuitionsは事前検証を完了させ、日本語に特化した国産LLMの開発を本格的に開始した。

高速処理が可能な計算基盤と豊富な技術者、巨大な顧客接点を持つソフトバンクが、日本語のデータセットを活用した高品質な国産LLMを開発することで、日本の商習慣や文化に適した生成AIサービスの提供を目指す。