Money Forward Lab、理化学研究所との共同研究による日本語インストラクションデータで学習された大規模言語モデル（LLM）を公開

株式会社マネーフォワードは、当社の研究開発組織Money Forward Labと、国立研究開発法人理化学研究所革新知能統合研究センター 言語情報アクセス技術チームが共同で取り組む大規模言語モデル（Large Language Model、以下「LLM」）に関する研究において、2023年11月15日（水）にその進捗成果としてリリースされたインストラクションデータを用いて学習させたLLMを公開しました。

• モデルの詳細と今後の展開

LLMは、膨大な量のテキストデータと深層学習の技術を用いて人間のような自然な文章を生成できる言語モデルですが、特定の言語や分野に特化した高い精度の出力結果を得るためには、LLMの追加学習が必要です。追加学習には、タスクとそれに対する出力の指示（インストラクション）のデータセットを学習させるインストラクションチューニングという手法が存在します。今回の共同研究では日本語のインストラクションデータを開発することに注力しており、Money Foward Labは、共同研究で得られた最新の2,903件のインストラクションデータを用い、rinna株式会社が開発した『Youri7B※』に対して インストラクション・チューニングを行いました。当社でチューニングを行ったモデル『houou-7b』と、他のインストラクションデータを使って学習したモデルを比較すると、回答生成の精度の大幅な改善が認められ、少量であっても質の高い日本語データを作成することで、効果的にLLMを学習できることが確認できました。

なお、本モデルの名称『houou』は、「お金を前へ。人生をもっと前へ。」という当社のミッションに基づき、日本の紙幣にデザインされている鳥・鳳凰から採用しました。

『moneyforward/houou-instruction-7b-v1（houou-7b）』は、以下のウェブサイトでLLAMA 2 Community Licenseで公開しています。

https://huggingface.co/moneyforward/houou-instruction-7b-v1

Money Foward Labでは、共同研究で作成したインストラクションデータのアップデートに合わせて、2024年3月まで継続的にモデルをリリースしていく予定です。また、本研究を通して得た知見を元に、当社の事業の1つであるバックオフィス向けSaaS事業において活用可能なLLMを実現するため、日本国内の経理財務や人事労務領域に特化したインストラクションデータの開発にも取り組んでまいります。

※『Youri 7B』は、Meta Platforms, Inc.がオープンソースとして公開したLLM『Llama-2 7B』に日本語の学習データを用いて継続事前学習を行うことで、高い日本語のテキスト生成能力を持たせたモデルです。

• Money Forward Labについて

Money Forward Labは、「お金のメカニズムを解き明かすことで、人生に笑顔と驚きを。」をミッションとして、テクノロジーとデータを駆使した研究開発に取り組んでいます。

現在は、企業のバックオフィスが抱える可能性がある将来の課題を予測し、それを解決するためのアクションを実行・提案する「Autonomous BackOffice」（オートノマス・バックオフィス：バックオフィスの自律化）実現のための研究開発に注力しています。

　＜主な研究内容＞

・大規模言語モデルのドメイン最適化

・信用リスク分析

・金融行動分析

• 国立研究開発法人理化学研究所について

名称　　：国立研究開発法人理化学研究所

所在地　：埼玉県和光市広沢2-1

代表者　：理事長　五神 真

設立　　：1917年（大正6年）

事業内容：日本で唯一の自然科学の総合研究所として、物理学、工学、化学、数理・情報科学、

　　　　　計算科学、生物学、医科学などに及ぶ広い分野で研究を進めている。

URL　　：https://www.riken.jp/

• 株式会社マネーフォワードについて

名称　　：株式会社マネーフォワード

所在地　：東京都港区芝浦 3-1-21　msb Tamachi 田町ステーションタワーS 21F

代表者　：代表取締役社長CEO 辻庸介

設立　　：2012年5月

事業内容：PFMサービスおよびクラウドサービスの開発・提供

URL　　：https://corp.moneyforward.com/

主要サービス：

お金の見える化サービス『マネーフォワード ME』　https://moneyforward.com/

バックオフィスSaaS『マネーフォワード クラウド』　https://biz.moneyforward.com/

＊記載されている会社名および商品・製品・サービス名（ロゴマーク等を含む）は、各社の商標または各権利者の登録商標です。