株式会社Deepreneur, 経産省とNEDOが推進するGENIACにおいて、ユビタスと共同で日中韓AIモデル開発性能「GPT-4」超え

松尾研発スタートアップ、株式会社Deepreneur(ディープレナー、本社: 東京都文京区、代表取締役：澤田 悠太、以下「Deepreneur」)は、株式会社ユビタス（以下、ユビタス）と共同で日本語・韓国語・中国語対応の大規模言語モデル（LLM）を開発いたしました。なお、本開発は、経済産業省および国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の支援を受けて実施したものです。

観光産業用向け 405B LLM/基盤モデル

本プロジェクトでは、観光産業への社会実装を見据え、Llama 3.1 405Bモデルをベースとした日本語・韓国語・中国語対応の大規模言語モデル（LLM）の開発を進めました。405Bモデルでのマルチリンガル学習に必要となる大規模データセットの構築に先立ち、日本語モデルはDeepreneur社が、中国語モデルはUbitus社がそれぞれ「Llama 3.1 70B」モデルを用いて学習と性能評価を実施しました。

Deepreneur社は、高品質な日本語の事前学習用および対話形式データセットの構築に注力し、「Llama 3.1 70B」モデルによる学習実験の結果、日本語の対話能力においてGPT-4を上回る性能を持つモデルの開発に成功しました。

性能評価

Deepreneur社が開発したモデルは、日本語の対話能力において高いパフォーマンスを発揮し、自然な対話タスクにおける精度と流暢性が大幅に向上しました。

ベンチマーク評価では、複数の指標で優れた結果を示し、特定のタスクにおいてはGPT-4を上回る性能を確認しています。特に、日本語の対話能力を測定する代表的な評価指標である「MT-Bench Ja（math&codingタスクを除く）」において、70BモデルはGPT-4を超えるスコアを記録しました。

Deepreneurについて

Deepreneurは、松尾研発スタートアップです。

「AI技術を用いてこれまでにない新しい人間とテクノロジーの関係を築く。」という理念のもと、法人向けにカスタマイズされたDXソリューションを提供しております。

独自に開発した大規模言語モデル(LLM)「Blue-Lizard」を始め、最先端のDeep Learning技術を活用したAI・システムの開発を通じて、企業のDXを推進いたします。

Deepreneuerは、研究開発で得たノウハウ・知見を活用し、各社独自のLLMの構築のサービスを提供しております。クラウド型はもちろんのこと、従来は困難であったオンプレ型まで、各社の個別の課題・要件に沿った各社独自のLLMの構築から、導入まで一気通貫した支援を実施します。

独自のLLMの構築サービスにご興味のある方は、以下のリンクからお問い合わせください。

https://www.deepreneur.com/contact

代表者：代表取締役　澤田悠太

所在地：東京都文京区本郷6丁目25番14号　HONGO EGG内

設立：2023年4月28日

URL：https://www.deepreneur.com/