株式会社Deepreneur、ChatGPT-3.5を上回る日本語LLM「blue-lizard」を開発。各社独自の高精度オンプレ型のLLMの構築サービスを開始

株式会社Deepreneur

2024年2月13日 10時00分

東京大学松尾研究室発のAIスタートアップ、株式会社Deepreneur(ディープレナー、本社: 東京都文京区、代表取締役：澤田悠太、以下「Deepreneur」)は、商用利用可能な70億パラメータの日本語LLM「blue-lizard」を開発し、一般公開致しました。Deepreneurは、「blue-lizard」とその開発ノウハウを企業各社に提供し、従来困難であった自社固有の高精度オンプレ型LLMの構築を支援します。

「blue-lizard」について

　「blue-lizard」はMetaのLlama-2-7bに対して、Wikipediaや書籍等の日本語の学習データを用いて追加事前学習と独自データによるファインチューニングを実施したモデルです。

70億パラメータと非常に軽量なモデルであるにも関わらず、JGLUE（日本語タスクにおける評価ベンチマーク）を用いた評価では、ChatGPT-3.5を超えるスコアが算出されており、公開されている日本語モデルの中では最高性能になります。

表１：日本語ベンチマークJGLUEでの評価結果（世界）※1

表２：日本語ベンチマークJGLUEでの評価結果（国内）※1

※1 学習データにJGLUEのデータ(train, valid等)が含まれているモデルは比較から除外しています。

　ライセンスはLLAMA 2 Community License に準拠しており、Acceptable Use Policy に従う限りにおいては、研究および商業目的での利用が可能です。

各社独自LLMの構築サービス提供開始

　Deepreneuerは、「blue-lizard」とその開発で得たノウハウ・知見を活用し、各社独自のLLMの構築のサービスを開始致しました。クラウド型はもちろんのこと、従来は困難であったオンプレ型まで、各社の個別の課題・要件に沿った各社独自のLLMの構築から、導入まで一気通貫した支援を実施します。

独自のLLMの構築サービスにご興味のある方は、以下のリンクからお問い合わせください。

https://www.deepreneur.com/contact