MacBook Airでもオフラインで動作するLLM「Stable Code 3B」

Stability AIは、Stable Codeの大規模アップデート「Stable Code 3B」をリリースした。先にリリースされた「Stable Code Alpha 3B」に続くもの。

30億パラメータを持つ大規模言語モデル(LLM)で、CodeLLaMA 7bと比較して60％小型化しながら、同様のパフォーマンスを発揮する。Stable Codeは、4兆トークンの自然言語データでトレーニングされた既存のStable LM 3Bの基礎モデルをベースに、コードを含むソフトウェアエンジニアリング固有のデータでさらにトレーニングをしたもの。コンパクトであるため、MacBook Airのような専用GPUを搭載していないラップトップでも、オフラインで動作する。

FIM(Fill in the Middle)機能のサポートやコンテキストサイズの拡張など、多言語にわたってより多くの機能と大幅に向上したパフォーマンスを提供。Stable Code 3Bは最大16,384トークンのシーケンスで学習されるが、CodeLlamaと同様のアプローチでRotary Embeddingsを実装しており、オプションでRotary Baseを最大1,000,000まで変更できる。

なお、商用利用するにはStability AIメンバーシップへの登録が必要。