Lightblue、国内最高水準の日本語LLMモデル「ao-Karasu」を公開

株式会社Lightblue

2024年3月22日 11時40分

東京大学発、最先端アルゴリズムの現場実装に取り組むAIスタートアップ株式会社Lightblue（代表取締役：園田亜斗夢、本社：東京都千代田区、以下「Lightblue」）は720億パラメーターの日本語LLMモデル「ao-Karasu」を公開したことをお知らせします。「ao-Karasu」はStability AI社が提供する日本語性能のベンチマーク、Japanese MT-Benchの自動評価で国内最高水準の評価となっています。

LightblueではAI活用を目指す現場においてオンプレミスで個社に合わせた独自モデルを提供することはもちろん、DXコンサルティングおよび受託開発で培ったノウハウをフル活用し、各社・各部署・現場ごとの業務理解を基盤としたカスタマイズを実施し、真に実用的なLLM実装をサポートしてまいります。

東京大学発AIスタートアップLightblue、国内最高水準の日本語LLMモデル「ao-Karasu」を公開

商用利用可能な日本語LLM「ao-Karasu」の概要

この度、日本語性能において国内最高水準のベンチマークとなった「ao-Karasu」は2024年3月19日にLightblueが公開した日本語LLMモデルです。720億パラメータのQwen 1.5 72B（https://huggingface.co/Qwen/Qwen1.5-72B ）に対してファインチューニングしたモデルで、オープンソースのデータセットに加えLightblueが独自に整備したデータセットでトレーニングを行っています。

■Lightblueが公開する日本語LLMモデル「ao-Karasu」

URL：https://huggingface.co/lightblue/aokarasu-72B

※「Ao Karasu」のライセンスはtongyi-qianwen-license-agreemenであり、商用利用可能です。

日本語LLM「ao-Karasu」の特徴・性能

Lightblueが手掛ける「ao-Karasu」は日本語性能を高めたモデルとしては最大規模の720億パラメータの日本語LLMです。Stability AI社が提供する日本語性能のベンチマーク、Japanese MT-Benchの自動評価において「ao-Karasu」は国内最高水準の評価であり、GPT-3.5 Turboを超える性能を実証しました。

日本語言語モデルのベンチマークMT-Benchでの評価結果【2024年3月13日時点】

※順位に関する情報は2024年3月13日時点のものです

※平均点は「数学」「コーディング」を除いた6項目によるものです

「ao-Karasu」の特徴や評価の詳細は、note記事で解説しております。こちらもぜひ御覧くださいませ。

URL：https://note.com/lightblue_tech/n/nfda12435b262?sub_rt=share_pb

生成AI・LLMの研究開発に特化したチーム「LLab」について

AIの民主化を目指すLightblueでは、生成AI・LLMの研究開発に特化したチーム「LLab」を設立し、安全性と透明性を重視したAIモデルの開発に取り組んでいます。「LLab」では、生成AI活用を目指す現場において真に実用的なLLM実装をサポートします。「LLab」では、オンプレミスで個社に合わせた独自モデルを提供することはもちろん、DXコンサルティングおよび受託開発で培ったノウハウをフル活用し、各社・各部署・現場ごとの業務理解を基盤としたカスタマイズを実施します。

■ LLabについて

Lightblueの生成AI特化開発チーム

【独自開発が有効な現場】

・専門性が高い現場：建設、製薬など、業界・法人ごとの専門用語が多い

・情報セキュリティレベルが高い現場：金融、医療など、高レベルのデータ侵害対策が必要

・インターネットにアクセスしづらい現場：工場や建設現場など、通信環境の整備が難しい

「LLab」および本モデルを用いた企業内でのAI活用推進に興味のある方は、以下のリンクからお問い合わせください。

http://lightblue-tech.hubspotpagebuilder.com/lightblue-llab