Meta、コード生成LLM「Code Llama」

Metaは、コードと自然言語プロンプトの両方からコードとコードに関する自然言語を生成できるコーディングツール「Code Llama」を発表した。研究及び商用利用は無料。

テキストプロンプトを利用してコードを生成できる大規模言語モデル(LLM)。Llama 2をベースとしてコードに特化したバージョンで、コード固有のデータセットによりLlama 2をさらにトレーニング。同じデータセットからより多くのデータを長時間サンプリングすることによって作成された。

コードと自然言語プロンプトの両方から、コードとコードに関する自然言語を生成。コード補完やデバッグにも使用できるという。Python、C++、Java、PHP、Typescript(Javascript)、C#、Bashなどの言語をサポートする。

パラメータは、70億、130億、340億の3つのサイズを用意。各モデルは、500億トークンのコードとコード関連データを使用してトレーニングされている。

この他、Code Llamaのバリエーションとして、Pythonに特化した「Code Llama - Python」、Instructに特化した「Code Llama - Instruct」もリリースしている。