経済産業省が立ち上げた「GENIAC」の元、NEDOプロジェクトでABEJAがLLMを利活用し開発した小型化モデルが複数の汎用言語性能指標で「GPT-4」を上回る性能に到達

　人とAIの協調により「ゆたかな世界を、実装する」株式会社ABEJA（本社：東京都港区、代表取締役CEO：岡田 陽介、以下「ABEJA」）は、「GENIAC（Generative AI Accelerator Challenge）」※1の元、国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が進める「ポスト5G情報通信システム基盤強化研究開発事業※2／ポスト5G情報通信システムの開発／競争力ある生成AI基盤モデルの開発（助成）」（以下「競争力ある生成AI基盤モデルの開発」）に採択され、研究開発を進めております。

　このたび、本プロジェクトにおいて構築した32Bの小型化モデルが、ファインチューニングの実行前の段階でありながら、複数の汎用言語性能指標においてOpenAI社の「GPT-4」を上回る性能に到達いたしましたことをお知らせいたします。ABEJAは当該モデルをHugging Faceにて公開いたします。

　ABEJAは、「ゆたかな世界を、実装する」を経営理念に掲げ、ミッションクリティカル業務へのAI導入支援のため、基盤システムとなるABEJA Platformの開発・導入・運用を行う｢デジタルプラットフォーム事業」を展開しています。ABEJA Platformは、ミッションクリティカル業務における堅牢で安定した基盤システムとアプリケーション群であり、生成AIをはじめとする最先端技術による運用が人とAIの協調により実現可能です。ABEJAは、2012年の創業時よりABEJA Platformの研究開発を進めており、顧客企業からの信頼のもと、数多くの導入を進めることで「テクノロジーの力で産業構造を変革する」ミッションに取り組んでいます。

　ABEJAは、GENIACにおいては、2024年2月に第一期となる「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に続き、2024年10月より「競争力ある生成AI基盤モデルの開発」に採択されました。（以下2024年2月採択案件を「第一期」※3、2024年10月採択案件を「第二期」※4と表記）

　ABEJAは、従来よりLLMの社会実装における最大の課題は、精度とコストのトレードオフにあると考えており、その課題解決に向けたLLMの研究開発を進めております。第一期では、高い精度と高い計算コストパフォーマンスの両立を実現するLLMの周辺領域の技術開発を実施し、続く第二期では、その知見を元に、高い精度を有する50B以下および10Ｂ以下の2つの小型化モデルの構築を推進しております。

　その中で、このたび構築した32Bのモデルがmtbench、elyza-tasksなど汎用的言語性能を図る複数指標で、「GPT-4」を上回る性能を達成いたしました。

　現在、小型化モデルであっても、領域に特化してファインチューニングを繰り返すことで、精度向上を図ることが可能です。しかしながら、このたびABEJAが構築した32Bモデルは、領域を特化したファインチューニングを実行する前段階でありながら「GPT-4｣の性能に到達しております。通常、ビジネスプロセスで用いられるモデルはユースケースに合わせたチューニングを行うため、ABEJAは、今後、本モデルをビジネスプロセスに実装する際には、さらなる精度向上を実現できると考えております。

　当該モデルについては以下Hugging Faceで、また開発モデルや評価の詳細については以下ブログで公開しております。

　Hugging Face：https://huggingface.co/abeja/ABEJA-Qwen2.5-32b-Japanese-v0.1
　ブログ：https://tech-blog.abeja.asia/entry/geniac2-qwen25-32b-v0.1

　ABEJAはこのたび得られたノウハウを元に、引き続きLLMの周辺領域の技術開発を進め、第二期の事業が終了する2025年４月までに、提案書の作成や論理推論、情報抽出などの理系タスクといった特定タスクにおいて、実運用可能な性能と運用コストの両立を実現する10B以下のモデルの構築に取り組んでまいります。

　ABEJAは、引き続き、生成AIを利活用する企業や組織の増加、社会におけるAI技術革新の大幅な加速、そして次世代の研究者や技術者の育成を目的に、研究開発で得られたLLMおよびソースコードや開発ノウハウなどを社会に提供することでLLMの社会実装を推進し、ABEJAの企業理念である「ゆたかな世界を、実装する」の実現に努めてまいります。

この成果は、NEDOの助成事業の結果得られたものです。

※1　GENIAC（Generative AI Accelerator Challenge）：日本の生成AI の開発力強化を目的とした経済産業省およびNEDOが推進するプロジェクト。

※2　ポスト5G情報通信システム：第5世代移動通信システム（5G）より更に超低遅延や多数同時接続といった機能が強化されたポスト5Gに対応した通信システムを指す。

ttps://www.meti.go.jp/policy/mono_info_service/joho/post5g/index.htm

※3　第一期における当社発表および成果発表は以下よりご確認ください。

https://www.abejainc.com/news/20240202/1

https://www.youtube.com/watch?v=70nYBgBxCdw
※4　第二期における当社発表は以下よりご確認ください。

https://www.abejainc.com/news/20241010/1

■ 株式会社ABEJAについて

ABEJAは、「ゆたかな世界を、実装する」を経営理念とし、「ABEJA Platform」を基盤に顧客企業の基幹業務のプロセスを変革し、ビジネスの継続的な収益成長の実現に伴走する「デジタルプラットフォーム事業」を展開しています。2012年の創業時よりABEJA Platformの研究開発を進めており、これまで多種多様な業界・業態の300社以上のデジタル変革をABEJA Platform上で実現してきました。また、「Human In the Loop」をはじめとする高度なノウハウやアプローチを用いて、デジタル変革に必要不可欠な「人とAIの協調」を実現し、戦略的かつ効率的に顧客の基幹業務を変革し、さらにはビジネスモデルの革新に取り組んでいます。

本社：東京都港区三田一丁目1番14号 Bizflex麻布十番2階

設立：2012年9月10日

代表者：代表取締役CEO 岡田 陽介

事業：デジタルプラットフォーム事業

URL：https://abejainc.com