「富岳」で大規模言語モデルの研究開発

東京工業大学、東北大学、富士通、理化学研究所は、スーパーコンピュータ「富岳」を活用した大規模言語モデル(LLM）の分散並列学習手法の研究開発を開始する。期間は5月24日～3月31日。「富岳」政策対応枠で行なわれるプロジェクトで、国内におけるAIの究力向上を目指す。

大規模言語モデル分散並列学習手法は、富岳の超大規模な並列計算環境において大規模言語モデル学習を効率良く実行する技術。東京工業大学は、全体総括、大規模言語モデルの並列化および高速化、東北大学は学習用データの収集、モデルの選択、富士通は大規模言語モデルの高速化、理化学研究所は大規模言語モデルの分散並列化・通信高速化、大規模言語モデルの高速化を担当する。

4者は、日本の研究者やエンジニアが大規模言語モデルの開発に活用できるよう、今回の研究成果をGitHubやHugging Faceで2024年度に公開する予定。多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画することで、効率的な方法が創出され、次世代の革新的な研究やビジネスの成果に繋げるのが狙い。

さらに、ものづくりをはじめとする産業分野などへの応用を想定したマルチモーダル化のためのデータ生成手法および学習手法の開発を行なう名古屋大学や、大規模言語モデル構築のためのデータおよび技術提供を行なうサイバーエージェントとの連携も今後検討していく。