LINEとNAVER、日本語特化の超巨大言語モデル。700PFLOPS以上のスパコン活用

LINEはNAVERと共同で、世界初の試みとなる、日本語に特化した超巨大言語モデル開発と、その処理に必要なインフラ構築についての取り組みを実施する。700PFLOPS以上の能力を持つスーパーコンピューターを活用し、汎用型言語モデルを実現する。

超巨大言語モデル(膨大なデータから生成された汎用言語モデル)は、AIによる、より自然な言語処理・言語表現を可能にするもの。日本語におけるAI水準を向上し、日本語AIの可能性を大きく広げるという。

従来の言語モデルは、各ユースケース(Q&A、対話、等)に対して、自然言語処理エンジニアが個別に学習する必要があった(特化型言語モデル)。

汎用言語モデルは、OpenAIが開発した「GPT」や、Google の「T5」に代表される言語モデル。新聞記事や百科事典、小説、コーディングなどといった膨大な言語データを学習させた言語モデルを構築し、その上でコンテキスト設定を行なうためのFew-Shot learningを実行するだけで、さまざまな言語処理(対話、翻訳、入力補完、文書生成、プログラミングコード等)が可能になる。これにより個々のユースケースを簡単に実現できることが期待されるという。

開発にあたり、1,750億以上のパラメーターと、100億ページ以上の日本語データを学習データとして利用。これは現在世界に存在する日本語をベースにした言語モデルのパラメーター量と学習量を大きく超えるもの。パラメーター量と学習量については、今後も拡大していく。

現在、超巨大言語モデルは、世界でも英語のみが存在・商用化されている。超巨大言語モデルの処理には数百GBものメモリーが必要で、世界でも指折りの性能を持つスーパーコンピューターが必要になるため他言語の開発例は少ない。

両社は共同で700PFLOPS(ペタフロップス)以上の性能を備えたスーパーコンピュータを活用し、超巨大言語モデルの土台となるインフラの整備を年内に実現。英語で実現している精度に匹敵する、またはそれ以上の、日本語の超巨大言語モデルを創出する。

開発された超巨大言語モデルは、新しい対話AIの開発や検索サービスの品質向上など、AIテクノロジーブランド「LINE CLOVA」をはじめとするLINEのサービスに活用するほか、第三者との共同開発や、APIの外部提供についても検討予定。