マネーフォワード、大規模言語モデル「houou」公開

マネーフォワードは、大規模言語モデル「houou(鳳凰)」を公開した。マネーフォワードの研究開発組織Money Forward Labと理化学研究所 革新知能統合研究センター 言語情報アクセス技術チームが共同で開発したもの。

大規模言語モデル(LLM)は、膨大な量のテキストデータと深層学習の技術を用いて自然な文章を生成できるが、特定の言語や分野に特化した高い精度の出力結果を得るためには、LLMの追加学習が必要となる。追加学習には、タスクと対応する出力指示(インストラクション)のデータセットを学習させるインストラクションチューニングという手法が存在しており、今回の共同研究では日本語のインストラクションデータを開発することに注力した。

Money Foward Labは、共同研究で得られた2,903件のインストラクションデータを用い、rinnaが開発した「Youri7B」に対してインストラクション・チューニングを行なった。

チューニングを行なったモデル「houou-7b」と、他のインストラクションデータを使って学習したモデルを比較すると、回答生成の精度の大幅な改善が認められ、少量でも質の高い日本語データを作成することで、効果的にLLMを学習できることが確認できたという。

公開されたhououのライセンスは、LLAMA 2 Community Licenseで、研究・商用利用にも対応する。なお、モデルの名称「houou」は、日本の紙幣にデザインされている鳥・鳳凰に由来する。

Money Foward Labでは、共同研究で作成したインストラクションデータのアップデートとともに、2024年3月まで継続的にモデルをリリースしていく。また、バックオフィス向けSaaS事業で活用可能なLLMの実現するため、日本国内の経理財務や人事労務領域に特化したインストラクションデータの開発にも取り組むとしている。