ハルシネーションを大幅抑止し専門的な質問にも正確な回答が可能な生成AI　ストックマーク 1,000億パラメータ規模の独自LLMを公開

商用利用可能な日本最大級の大規模言語モデルを公開

　ストックマーク株式会社(本社：東京都港区、社長：林 達、以下：当社)は、2024年2月に、経済産業省と国立研究開発法人新エネルギー・産業技術総合開発機構(以下「NEDO」)が主催する、国内の生成AI開発力強化を目的としたプロジェクト「GENIAC」への採択を受け、ハルシネーション※1を大幅抑止し、厳密さが要求されるビジネスシーンでも信頼可能な1,000億パラメータ規模の大規模言語モデル(Large Language Model、以下：LLM)「Stockmark-LLM-100b」の開発に成功し、本日より各種サイトにて公開しました。

　フルスクラッチ※2で開発された当該基盤モデルは1,000億パラメータ規模であり、国内最大級の基盤モデルとなります。なお、当モデルの開発は、国立研究開発法人産業技術総合研究所との共同研究の一環として行われました。

※1：人工知能が学習したデータからは正当化できないはずの回答を堂々とする現象

※2：システムを作る際に、既存のモデルを用いずにゼロから組み上げる開発手法

【Stockmark-LLM-100bモデル公開先】

・事前学習モデル：https://huggingface.co/stockmark/stockmark-100b

・指示学習モデル：https://huggingface.co/stockmark/stockmark-100b-instruct-v0.1

◆「Stockmark-LLM-100b」について

　Stockmark-LLM-100bは、公開されている既存のLLMモデルを用いずに、当社がフルスクラッチで開発した独自のLLMです。当LLMの特徴は、独自に収集したビジネスドメインの日本語データを中心に事前学習を行うことで、日本語・ビジネスドメイン・最新の時事話題に精通していることに加え、“ハルシネーション”の大幅抑止に成功した、厳密さが求められるビジネス領域でも信頼して活用可能な点です。

　2022年以降、生成AIに対する注目は日々加熱し、中でもLLMについては多くの基盤モデルが開発・公開をされてきましたが、いずれのモデルでもハルシネーションは共通の課題として残され、この課題により、間違いが許容されないビジネス領域における生成AI活用が大きく阻害されていました。

　当社では、Stockmark-LLM-100bの開発において、ハルシネーションの抑止に注力して開発を行ってきました。ビジネス上の基礎的な質問への回答は勿論、製造業などの専門性の高い知識が求められる領域においても専門性を理解し高い精度で回答が出来ることに加え、答えることが出来ない質問に対しては、無理に回答を生成するのではなく、しっかりと「分からない」と答えることが出来る、厳密さが求められるビジネスシーンにおいても信頼して活用いただけるモデルの開発に成功しました。

　なお、Stockmark-LLM-100bは、商用利用可能なモデルとしてオープンソースで公開することで、より多くのユーザーにお試しいただくことできるモデルとなっています。

【Stockmark-LLM 紹介サイト】

https://llm.stockmark.co.jp

 【GENIAC採択、100b開発に関するプレスリリース】

https://stockmark.co.jp/news/20240202

◆「Stockmark-LLM-100b」と他モデルの比較及び実行例

1：独自基準での評価

　当社が独自に設定した、ビジネス情報や最新の時事話題に関する質問(Stockmark Business Questions)の正答率も0.9と9割を超える正答率となっており、GPT-4-turboと比較しても高精度な生成を実現しています。

・Stockmark Business Questions：https://huggingface.co/datasets/stockmark/business-questions

2：一般ベンチマークでの評価

 　LLMのモデル評価で活用されるVicunaQA Benchmark※3においても、他モデルと比較し高い水準を達成しています。

※3：決まった回答が存在しない非定型的なタスクにおける LLM の性能評価を目的としたベンチマークです。

　　  計算やコーディングなどを要するカテゴリーを除く60問で評価

　　  参照：https://github.com/ku-nlp/ja-vicuna-qa-benchmark

3：推論速度計測※4

　各モデルの推論処理速度を計測するために、100文字の日本語作文を書くのに要した時間を計測したところ、1.86秒と他モデルと比較しても高い速度性能を有しています。

※4：100文字の日本語作文を書くのに要した時間を計測

◆「Stockmark-LLM-100b」今後の展開について

　今後は、自社プロダクトである市場及び技術情報のプラットフォーム「Anews」に、Stockmark-LLM-100bを実装することで、Microsoft BingやGoogle Bardに代わる、新しいビジネス情報の検索体験を提供していきます。さらに、当社生成AI基盤の高いセキュリティ性を活かし、社内情報を含めたあらゆるビジネス情報のRAGプラットフォームとして「Anews」を進化させていきます。

　また、自社プロダクトへの活用以外にも、当社の生成AI基盤を活用した「①RAGに必要な社内外データの構造化及びデータベース構築 / ②より専門的な知識が求められるケースでの企業毎の独自LLM開発 / ③LLMを活用したアプリケーション開発」等も提供していきます。

◆取締役CTO 有馬 幸介のコメント

　1,000億パラメータ規模のLLMをゼロから構築し公開が行われた前例は、日本のみならずグローバルでも殆ど存在しておりませんでした。そのため、いざ開発をしてみると100億パラメータ規模の頃では起きなかった想定外の事象が多発し、技術的挑戦が日夜続きましたが、限られた時間の中、チームで知恵を絞り、GENIAC事務局の方々の支援も受けて学習の完了に至りました。

　当該モデルやノウハウの公開を行うことで、社会の前進に貢献できれば幸いと感じるとともに、当該モデルの社会実装を進め、人類の前進により一層貢献できるよう引き続き頑張って参りたいと強く感じております。

◆GENIACについて

　「GENIAC」は、経済産業省とNEDOが主催する、日本国内の基盤モデル開発力を底上げし、また企業等の創意工夫を促すためのプロジェクトです。

計算資源の提供、利活用企業やデータホルダーとのマッチング支援、 グローバルテック企業との連携支援やコミュニティイベントの開催、 開発される基盤モデルの性能評価など、生成AIによって世界の変革がもたらされようとしている中、国内外の関係者の知見を結集し、日本の開発力向上を目指します。

◆ストックマーク株式会社について

ストックマーク株式会社は「価値創造の仕組みを再発明し、人類を前進させる」をミッションに掲げ、最先端の自然言語処理技術を活用し、多くの企業の事業創造活動を支援しています。

当社は自然言語処理技術を活用し、国内外の約35,000サイトのビジネスニュースを分類しています。業務に直結する情報をAIが届けることにより、組織の情報感度を高め、事業アイデアの着想と組織内での発展を促す「Anews(エーニュース)」、AIが組織や業務に合わせて必要な情報を構造化し、示唆が得られる市場調査サービス「Astrategy(エーストラテジー)」を通じて企業の新たな価値創造をサポートします。

会社名　：ストックマーク株式会社

所在地　：東京都港区南青山一丁目12番3号  LIFORK MINAMI AOYAMA S209

設立　　：2016年11月15日

代表者　：代表取締役CEO　林 達

事業内容：自然言語処理を活用した、事業機会の探索と意思決定の支援を行う

　　　　　サービスの開発・運営

URL　　：https://stockmark.co.jp/