ニュース
東大松尾研、対話・作文能力や共感が特徴のLLM「Tanuki-8×8B」
2024年9月2日 08:00
東京大学松尾・岩澤研究室は、GENIACプロジェクトにおいて、大規模言語モデル「Tanuki-8×8B」を開発し、公開した。
経済産業省とNEDOが進める日本国内の生成AI基盤モデル開発を推進「GENIAC」の取り組みで、2023年8月に公開した100億パラメータサイズのLLM「Weblab-10B」の開発経験をベースに、LLM開発を進めるもの。
「Tanuki-8×8B」はフルスクラッチで開発され、対話、作文能力を評価する指標「Japanese MT-Bench」において「GPT-3.5 Turbo」と同等以上の性能を達成。また、Apache License 2.0のライセンスに基づき、研究/商業目的での自由な利用が可能となる。
また、Tanuki-8×8Bの軽量版「Tanuki-8B」をチャット形式で利用できるデモも公開している。
Tanuki-8×8Bは、文章の作文や対話を中心に学習しており、その能力を測る「Japanese MT-Bench」では事前学習からフルスクラッチで開発を行なったモデルとして、10点満点中7点程度のスコアを獲得。GPT-3.5 TurboややCyberAgentLM3-22B-Chatと同等の性能を達成したとする。
なお、Japanese MT-Benchの結果も含めた総合的な推論性能はGPT-4o、Gemini-1.5-pro､Claude-3.5-sonnetなどの海外の最先端モデルには「まだ追いついていない」とする。ただし、「Tanuki-8×8B」は､海外モデルとは異なる長所があり、海外モデルは無機質で形式的な返答をする傾向があるが、Tanuki-8×8Bは「共感性や思いやりのある返答や､自然な言葉遣いでの作文が得意」としている。
本プロジェクトの知見をもとに、モデル開発を継続。日本ならではのオリジナリティや競争力を兼ね備えたLLM群を目指す。