Meta、大規模言語モデルの最新版「Llama 3」 多言語対応も視野

Metaは、オープンソースの大規模現モデル(LLM)の最新版「Llama 3」を発表した。80億パラメータと700億パラメータの2つのモデルの提供が開始されている。同社が展開する「Meta AI」でも利用される。

「Llama 3」は各クラウドプラットフォームを通じて提供されるほか、AMD、AWS、Dell、Intel、NVIDIA、Qualcommが提供するハードウェアプラットフォームからもサポートされる。また、新たな信頼・安全のためのツールを導入している。

「Llama 3」は、幅広いユースケースをカバーできる、80億パラメータと700億パラメータの2つのモデルが公開されている。さまざまなベンチマークで最先端の性能を示し、このクラスのオープンソースモデルとして、現時点で最高の性能と謳う。

業界標準のベンチマークテスト

一方、オープン・アプローチを維持し、その発展をコミュニティに委ねるとしている。オープンソース・コミュニティの慣例に従い、早い段階でのリリースになっており、フィードバックを受け取って改善しながら、今後数カ月のうちに新機能の追加やパフォーマンス強化が実施される予定。この中には多言語対応なども含まれる。

その性能は、事前・事後学習を大幅に改善したことで、Llama 2から大きく飛躍した。業界標準とされているベンチマークのほかに、自社優位とならないよう厳しい管理下で項目を設定した独自のベンチマークテストも実施し、Claude Sonnetをはじめ、最高クラスの性能を誇る競合モデルを上回る結果を収めたとアピールしている。また、雑学問題やコーディング、歴史的知識などのユースケースで特に優れた性能を発揮するという。

自社で設定したベンチマークテスト

80億パラメータと700億パラメータのモデルは最初のリリースと位置づけており、今後は4,000億パラメータ以上のモデルも計画。ベンチマークテストの結果として、その性能の一端が公開されている。

4,000億パラメータ以上のモデルのベンチマークテスト

「Llama 3」は、同時に発表された「Meta AI」でも活用されており、エンドユーザーはFacebookやInstagramなどからMeta AIを使うことで、Llama 3の性能に触れることができる。Meta AIの多言語対応は今後実施される。