Meta、新たな大規模言語モデル「LLaMA」

Metaは24日(米国時間)、新たな大規模言語モデルとなる「LLaMA」を発表した。LLaMA(Large Language Model Meta AI)は、研究者向けに提供し、大規模なインフラにアクセスできない研究者コミュニティにおいても、AI分野での研究をしやすくするという。

LLM(大規模言語モデル)は、テキストの生成、会話、文章資料の要約、数学の定理を解くなどの複雑なタスクで活用されており、OpenAIによる「ChatGPT」で使われている「GPT-3」などが知られている。

LLaMAは、小型ながら高性能なモデルのため、大規模言語モデルによる新たなアプローチのテストや、新しいユースケースの探求に必要な計算パワーやリソースがはるかに少なくて済むという。

LLaMAは、パラメーター数が7B(70億)、13B、33B、65Bが用意される。MetaによればLLaMA-13Bでは、ベンチマークでGPT-3(175B)を上回り、LLaMA-65Bでは、DeepMindのChinchilla70BやGoogleのPaLM-540Bに匹敵する性能としている。