ELYZA、「GPT-4」を上回る性能の日本語LLMを開発・公開

オープンモデルをベースに開発、70Bモデルは「GPT-4」超えを達成、軽量な8Bモデルは商用利用可能な形式で一般公開へ

　大規模言語モデルの社会実装を進める株式会社ELYZA（代表取締役：曽根岡侑也、以下ELYZA）は、ELYZAが提供する大規模言語モデル「ELYZA LLM for JP」シリーズの最新モデルとして、Meta社の「Llama 3」をベースとした700億パラメータの「Llama-3-ELYZA-JP-70B」と80億パラメータの「Llama-3-ELYZA-JP-8B」を開発し、性能を公開しました。

「Llama-3-ELYZA-JP-70B」は、チャット形式のデモサイトを用意しております。

ELYZA LLM for JP｜デモ版（ https://elyza.ai/lp/elyza-llm-for-jp ）

　※アクセス過多によりリクエストが処理されるまで待ち時間が発生することがあります。

「Llama-3-ELYZA-JP-8B」は、モデル自体を一般公開いたします。LLAMA 3 COMMUNITY LICENSEに準拠しており、Acceptable Use Policyに従う限りにおいては、研究および商業目的での利用が可能です。

Llama-3-ELYZA-JP（ https://huggingface.co/collections/elyza/llama-3-elyza-jp-667a311d51c8952e07778ecc ）

なお、開発プロセスや評価のより詳細な状況については、note記事で解説しています。こちらも是非ご覧ください。https://note.com/elyza/n/n360b6084fdbd

　ELYZAはこれらのモデルの公開・提供を通じて、国内におけるLLMの社会実装の推進、並びにLLMの研究開発の発展を支援してまいります。

■ニュースサマリ

• 「ELYZA LLM for JP」シリーズの最新モデル「Llama-3-ELYZA-JP」を公開。

  70Bモデルは「GPT-4」「Claude 3 Sonnet」などの商用グローバルモデルを上回る性能を実現。チャット形式のデモも用意。高性能な国内製モデルとして、企業向けに提供を予定。

  8Bモデルは「GPT-3.5 turbo」を上回る性能を達成し、オープンなモデルのなかでは最高水準の性能を達成。研究および商業目的での利用が可能な形式で一般公開。

  ELYZAはモデル公開や提供を通じ、国内におけるLLMの社会実装の推進、並びにLLMの研究開発の発展を支援していく。

■「Llama-3-ELYZA-JP-70B」の概要

　「Llama-3-ELYZA-JP-70B」は、Meta社の「Llama-3-70B」をベースに追加の学習（日本語追加事前学習・指示学習）を実施して開発したモデルです。

　本モデルは、元の「Llama-3-70B」から大きく日本語性能が向上しており、日本語の性能を測定するための2つのベンチマーク（※1）を用いた自動評価において、国内モデルの中では最高性能の水準を実現し、「GPT-4」や「Claude 3 Sonnet」、「Gemini 1.5 Flash」（※2）と同等あるいは上回る性能を達成しています。

図１：「Llama-3-ELYZA-JP-70B」の性能比較（vs 主要グローバルモデル）

　「Llama-3-ELYZA-JP-70B」は、安全なAPIサービスや共同開発プロジェクトなどを通して、様々な形態で、順次企業向けに提供を開始していきます。また、チャット形式のデモサイトを用意しております。

ELYZA LLM for JP｜デモ版（ https://elyza.ai/lp/elyza-llm-for-jp ）

　※アクセス過多によりリクエストが処理されるまで待ち時間が発生することがあります。

■「Llama-3-ELYZA-JP-8B」の概要

　「Llama-3-ELYZA-JP-8B」は、Meta社の「Llama-3-8B」をベースに事後学習（日本語追加事前学習・指示学習）を実施して開発したモデルです。

　「Llama-3-ELYZA-JP-70B」同様、本モデルは、元の「Llama-3-8B」から大きく日本語性能が向上しており、80億パラメータの軽量なモデルでありながら、日本語の性能を測定するための2つのベンチマーク（※1）を用いた自動評価において、「GPT-3.5 Turbo」や「Claude 3 Haiku」、「Gemini 1.0 Pro」（※3）に匹敵する性能を達成しています。

図２：「Llama-3-ELYZA-JP-8B」の性能比較（vs 主要な軽量グローバルモデル）

　ELYZAは「Llama-3-ELYZA-JP-8B」について、モデルを一般公開いたします。本モデルはLLAMA 3 COMMUNITY LICENSEに準拠し、Acceptable Use Policyに従う限りにおいて、研究および商業目的での利用が可能です。

Llama-3-ELYZA-JP（ https://huggingface.co/collections/elyza/llama-3-elyza-jp-667a311d51c8952e07778ecc ）

なお、開発プロセスや評価のより詳細な状況については、note記事で解説しています。こちらも是非ご覧ください。https://note.com/elyza/n/n360b6084fdbd

■「ELYZA LLM for JP」シリーズについて

　「ELYZA LLM for JP」は、ELYZAが提供する大規模言語モデル群の総称です。グローバルモデル以外の新たな選択肢として、主にセキュリティやカスタマイズ性を重視する企業、自社サービスや事業にLLMを組み込みたい企業に向けて、安全なAPI サービスや共同開発プロジェクトなど様々な形態で順次提供を開始していきます。

　今回公開した「Llama-3-ELYZA-JP-8B」「Llama-3-ELYZA-JP-70B」は、「ELYZA LLM for JP」シリーズの最新モデルとなります。

ELYZA LLM for JP｜デモ版（ https://elyza.ai/lp/elyza-llm-for-jp ）

　※アクセス過多によりリクエストが処理されるまで待ち時間が発生することがあります。

■付記および今後の展望

　ELYZAは「ELYZA-japanese-Llama-2-7b」から継続して「Llama」シリーズの日本語化に取り組み、今回の「Llama-3-ELYZA-JP」では「GPT-4」や「Claude 3 Sonnet」などを上回る性能を達成することができました。

　さらに「Llama」シリーズでの取り組みに限らず、海外のオープンなモデルの日本語化や、独自のLLMの開発に継続して投資をしていきます。これらのモデルの公開・提供を通じて、国内における LLM の社会実装の推進、並びに LLM の研究開発の発展を支援してまいります。

※1 ２つのベンチマーク：

　①ELYZA Tasks 100：ELYZAが提供している日本語ベンチマークで、LLM の指示に従う能力や、ユーザーの役に立つ回答を返す能力を測ることを目的としたもの。

　②Japanese MT-Bench：Stability AI 社が提供している日本語ベンチマークで、LLM の対話性能を評価するためのベンチマーク MT-Bench を日本語訳したもの。

※2 「GPT-4」は「gpt-4（0613）」、「Claude 3 Sonnet」は「anthropic.claude-3-sonnet-20240229-v1:0」、「Gemini 1.5 Flash」は2024年6月末時点の最新安定版を指す。

※3 「GPT-3.5 Turbo」は「GPT-3.5 Turbo（0125）」、「Claude 3 Haiku」は「anthropic.claude-3-haiku-20240307-v1:0」、「Gemini 1.0 Pro」は2024年6月末時点の最新安定版を指す。

■ELYZA会社概要

　株式会社ELYZAは、「未踏の領域で、あたりまえを創る」という理念のもと、日本語の大規模言語モデルに焦点を当て、企業との共同研究やクラウドサービスの開発を行なっております。先端技術の研究開発とコンサルティングによって、企業成長に貢献する形で大規模言語モデルの導入実装を推進します。

＜会社概要＞

社名 　：株式会社ELYZA

所在地 ：〒113-0033 東京都文京区本郷3-15-9 SWTビル 6F

代表者 ：代表取締役 曽根岡侑也

設立 　：2018年9月

URL 　：https://elyza.ai/