楽天、公益社団法人企業情報化協会より、2024年度（第42回）「IT賞（オープンイノベーション領域）」を受賞

- 日本語に特化したオープンかつ高性能な大規模言語モデル「Rakuten AI 7B」の取り組みが評価 -

　楽天グループ株式会社（以下「楽天」）は、日本語に特化した大規模言語モデル（以下「LLM」）である「Rakuten AI 7B」の取り組みが評価され、公益社団法人企業情報化協会（以下「IT協会」）が主催する2024年度（第42回）IT賞（ https://www.jiit.or.jp/im/award.html ）における、「IT 賞（オープンイノベーション領域）」（注1）を受賞しました。

　IT賞は、国内の産業界ならびに行政機関などの業務における事業創造、効果的ビジネスモデルの構築・促進、生産性向上等、「ITを高度に活用したビジネス革新」に顕著な努力を払い成果を挙げたと認めうる企業、団体、機関および個人に対して、IT協会が授与するものです。

　楽天は、AI化を意味する造語「AI-nization（エーアイナイゼーション）」をテーマに掲げ、さらなる成長に向けてビジネスのあらゆる面でAIの活用を推進しています。今後も豊富なデータと最先端のAI技術の活用を通じて、世界中の人々へ新たな価値創出を目指してまいります。

　以下、受賞したプロジェクトの概要です。

■Rakuten AI 7B ～日本語に特化したオープンかつ高性能なLLMの構築～

プロジェクト内容：

　楽天は、日本語に最適化した高性能のLLMの基盤モデル（注2）「Rakuten AI 7B」と、同モデルを基にしたインストラクションチューニング済モデル（注3）「Rakuten AI 7B Instruct」、インストラクションチューニング済モデルを基にファインチューニングを行ったチャットモデル（注4）「Rakuten AI 7B Chat」をオープンなモデルとして、2024年3月21日（木）に公開しています。「Rakuten AI 7B」は、フランスのAI企業であるMistral AI社のオープンモデル「Mistral-7B-v0.1」を基に、継続的に大規模なデータを学習させて開発した70億パラメータの日本語基盤モデルです。発表当時、「LM Evaluation Harness」（注5）の評価基準において、基盤モデルとインストラクションチューニング済モデルがオープンな日本語LLMにてトップを獲得しています。なお、同LLMは2024年12月時点で、約74,000件ダウンロードされています。

受賞理由：

　楽天は、高品質なLLMを構築するため、長年Eコマース領域特有のテキスト処理に取り組んできたことにより得られた経験やデータを活用し、独自で開発した形態素解析器の適用、およびLLM学習対象データの洗練を行いました。さらに、70億パラメータという軽量なLLMであることから、昨今課題となっているAIによる大量消費電力問題にも効率的な対応が可能なLLMとして評価されました。

（注1）ITによるオペレーションの標準化や情報の共有化、機能連係、ビジネスプラットフォームの構築などによって、従来からのバリューチェーンにおける取引や提携関係とは異なる（新しい）複数の業種・業態間の事業連携を実現しました。

（注2）基盤モデルとは、膨大な量のデータに対して事前にトレーニングされ、その後、特定のタスクやアプリケーションに適応するためにファインチューニングすることができるモデルのことです。
（注3）インストラクションチューニング済モデルとは、指示形式のデータで基盤モデルをファインチューニングしたモデルのことです。このファインチューニングにより、利用者が入力した指示に対して返答を生成することができるようになります。
（注4）チャットモデルとは、会話形式や指示形式のデータにてファインチューニングされた基盤モデルの一種です。このファインチューニングにより、会話形式で質問への返答をできるようになります。

（注5）言語モデルを一定の項目で評価するフレームワーク「LM Evaluation Harness」にて、2024年1月～3月に楽天内にて、全評価を同じ環境において実施しました。

日本語評価（テンプレートバージョン0.3で実施）： https://github.com/Stability-AI/lm-evaluation-harness/tree/0fa86429679f521161d5b81a94c0c385e0a0976d
※日本語評価の平均結果は、7項目の評価結果の平均です。
英語評価： https://github.com/EleutherAI/lm-evaluation-harness/tree/b281b0921b636bc36ad05c0b0b0763bd6dd43463

以 上