ELYZA、Llama 3.1ベースの日本語モデルを開発

デモの基盤モデルを更新

株式会社ELYZA

2024年10月25日 11時00分

　大規模言語モデルの社会実装を進める株式会社ELYZA（代表取締役：曽根岡侑也、以下ELYZA）は、ELYZAが提供する大規模言語モデル「ELYZA LLM for JP」シリーズの最新モデルとして、Meta社の「Llama 3.1」をベースとした700億パラメータの「Llama-3.1-ELYZA-JP-70B」を開発しました。合わせて、従前から公開していた「ELYZA LLM for JP｜デモ版」の基盤モデルを本モデルに差し替えています。

ELYZA LLM for JP｜デモ版
※アクセス過多によりリクエストが処理されるまで待ち時間が発生することがあります。

　「Llama-3.1-ELYZA-JP-70B」は、安全なAPIサービスや共同開発プロジェクトなどを通して、様々な形態で、順次企業向けに提供を開始していきます。

　ELYZAはこれらのモデルの公開・提供を通じて、国内におけるLLMの社会実装の推進、並びにLLMの研究開発の発展を支援してまいります。

■「Llama-3.1-ELYZA-JP-70B」の概要

　「Llama-3.1-ELYZA-JP-70B」は、Meta社の「Llama-3.1-70B」をベースに追加の学習（日本語追加事前学習・指示学習）を実施して開発したモデルです。

　本モデルは、日本語による追加学習を行うことで、元の「Llama-3.1-70B」から大きく日本語性能を向上させています。また、前回の「Llama-3-ELYZA-JP-70B」からは、ベースモデルを「Llama-3.1」に差し替えたことにより、長文の処理が可能になったことに加え、日本語での事後学習プロセスを見直すことにより、指示追従能力を改善しています。

■「ELYZA LLM for JP」シリーズについて

　「ELYZA LLM for JP」は、ELYZAが提供する大規模言語モデル群の総称です。グローバルモデル以外の新たな選択肢として、主にセキュリティやカスタマイズ性を重視する企業、自社サービスや事業にLLMを組み込みたい企業に向けて、安全なAPIサービスや共同開発プロジェクトなど様々な形態で順次提供を開始していきます。

　今回公開した「Llama-3.1-ELYZA-JP-70B」は、「ELYZA LLM for JP」シリーズの最新モデルとなります。

ELYZA LLM for JP｜デモ版
※アクセス過多によりリクエストが処理されるまで待ち時間が発生することがあります。

■今後の展望

　ELYZAは「ELYZA-japanese-Llama-2-7b」から継続して「Llama」シリーズの日本語化に取り組んでいます。今後も「Llama」シリーズでの取り組みに限らず、海外のオープンなモデルの日本語化や、独自のLLMの開発に継続して投資をしていきます。これらのモデルの公開・提供を通じて、国内における LLM の社会実装の推進、並びに LLM の研究開発の発展を支援してまいります。