rinna、Llama 3の日本語継続事前学習モデル「Llama 3 Youko 8B」を公開

Llama 3の高いテキスト生成能力を日本語にいち早く導入

rinna株式会社 (本社：東京都渋谷区/代表取締役：宋 珠憲、以下rinna) は、Llama 3 8Bに対して日本語データで継続事前学習を行った「Llama 3 Youko 8B」を開発し、Meta Llama 3 Community Licenseで公開したことを発表します。

■ rinnaのモデル公開活動

最近のAI技術は、世界中の研究・開発者が切磋琢磨し、成果を共有・公開することで劇的に進化を遂げています。rinnaも、日本語のタスクに適したGPT・BERT・HuBERT・CLIP・Stable Diffusionなど、テキスト・音声・画像に関する事前学習済み基盤モデルを公開してきました。2021年4月からHugging Faceに公開してきたrinnaのモデルは累計560万ダウンロード・1000 Likesを超え、多くの研究・開発者にご利用いただいています。

このようなAI技術の発展の中で、2024年4月にはMeta社のLlama 3、Microsoft社のPhi-3、Apple社のOpenELMといった、高いテキスト生成能力を持った大規模言語モデルが利用しやすいライセンスで公開されました。しかし、これらのモデルは英語が学習データの大多数を占め、日本語のテキスト生成は可能であるものの、英語と比較すると十分な性能を発揮することができません。

そこでrinnaは、Llama 2 ( https://rinna.co.jp/news/2023/10/20231031.html )やQwen ( https://rinna.co.jp/news/2023/12/20231221.html ) の日本語事前学習で得られた知見を活かし、Llama 3の日本語継続事前学習モデル「Llama 3 Youko 8B」を開発しました。AIの急速な発展の中で、英語圏の進展に追随するために、速い段階で今回開発したLlama 3 Youko 8Bを公開しました。このモデル公開が、日本のAI研究・開発の参考になれば幸いです。

・Llama 3 8Bの日本語継続事前学習モデル「Llama 3 Youko 8B (rinna/llama-3-youko-8b)」

https://huggingface.co/rinna/llama-3-youko-8b

■ 「Llama 3 Youko 8B」の特徴
Llama 3 Youko 8Bは、80億パラメータのLlama 3 8Bに対して、日本語と英語の学習データ220億トークンを用いて継続事前学習したモデルです (Built with Meta Llama 3) 。モデル名の由来は、妖怪の「妖狐（ようこ）」からきています。Meta Llama 3 Community License ( https://llama.meta.com/llama3/license/ ) を継承してモデルを公開しており、このライセンスに従いご利用いただけます。

日本語言語モデルの性能を評価するためのベンチマークの一つである Stability-AI/lm-evaluation-harnessの9タスク平均スコアはLlama 3が59.82であるのに対し、Llama 3 Youko 8Bは66.15となっており（図1）、Llama 3の優れた性能を日本語に引き継いでいます。今回公開したLlama 3 Youko 8Bは汎用的なベースモデルであるため、目的とするタスクで利用する場合には、ファインチューニングやモデルマージを行い利用することをお勧めします。

図1：日本語言語モデルベンチマークStability-AI/lm-evaluation-harnessのスコア
https://rinnakk.github.io/research/benchmarks/lm/index.html

■ 今後の展開

ChatGPTの登場によりテキスト生成の技術は気軽に利用できるようになりましたが、目的のタスクを実現するためのテキスト生成や低コスト化・セキュリティ強化等のためには、利用目的に則したモデルの開発・運用が重要となります。これまでにrinnaでは、LLMを用いた多くの研究・開発・運用により、知見を十分に蓄えており、LLMの導入を検討している法人のお客様に対して、ビジネスや事業目的に適したLLMのカスタマイズソリューション「Tamashiru Custom ( https://rinna.co.jp/products/business/tamashirucustom/ )」を提供しています。本モデルの開発を通して、これまで以上にお客様の目的に適したカスタムLLMを提供することが可能となりました。今後も、AIの社会実装を進めるために研究開発を続け、研究成果の公開や製品への導入を行っていきます。生成AIの活用やカスタムLLMをご希望の方はお問い合わせください。

【rinna株式会社について】

「人とAIの共創世界」(Co-creation world between humans and AI) をビジョンに掲げたAI企業です。テキスト・音声・画像・動画などの生成系AIモデルの研究開発や人工知能によるデータ分析が強みです。研究成果である各種AI技術を活用し、パートナー企業とともにさまざまなビジネス課題を解決するソリューションの開発と提供に取り組んでいます。また、フラグシップAI「りんな」の技術をもとに生み出した、親しみの持てる多様性あふれる「AIキャラクター」を通して人とAIが共に生きる豊かな世界を目指しています。

※文中の社名、商品名などは各社の商標または登録商標である場合があります。