Meta、生成AIの悪用を防ぐプロジェクト「Purple Llama」

米Metaは、生成AIの悪用を防ぐ取り組みのひとつとして、「Purple Llama」(パープル ラマ)プロジェクトを立ち上げた。ラマを利用する開発者に対し、安全性を高めたり責任ある開発体制を構築したりできるツールや評価方法が提供される。

Metaが開発し公開した大規模言語モデル(LLM)のLlamaは、オープンモデルとして公開され、これまでに1億件以上がダウンロードされるなど、さまざまなプロジェクトで利用されている。一方で、生成AI全般に対し、サイバーセキュリティの観点からは課題も指摘されるようになり、米国ホワイトハウスからは生成AIの悪用を防ぐ対策を行なうよう声明も発表されている状況。

こうした状況や課題を受け、Metaは、サイバーセキュリティの安全評価方法を業界標準やガイダンスに沿って構築した。リスクの定量化の指標や、安全ではないコードが生成AIから提案される頻度を評価するツールを提供するほか、LLMを評価して悪意のあるコードを生成したりサイバー攻撃の実行を支援したりすることを困難にするツールを提供、LLMがサイバー攻撃を手助けしない環境の構築を図る。

具体的には「Llama Guard」がリリースされ、開発者が、潜在的に危険な出力を生成するのを防ぐ方法として提供される。潜在的に危険なコンテンツや違反コンテンツを検出できるこのモデルは、公開されているデータで訓練されたもので、その手法や分析結果は論文で公開される。

一連の生成AIにおけるサイバーセキュリティに関する取り組みは、「AIアライアンス」のパートナーとも協力していく。