パナソニックHDとストックマーク、国内最大規模（1000億パラメータ）の独自日本語LLM「Panasonic-LLM-100b」開発で協業

　パナソニック ホールディングス株式会社（以下：パナソニックHD）とストックマーク株式会社（以下：ストックマーク）は、パナソニックグループ専用大規模言語モデル(Large Language Model、以下：LLM)「Panasonic-LLM-100b」の開発で協業することを発表します。協業を通じて、ストックマークが独自に開発したLLM「Stockmark-LLM-100b」に、パナソニックグループの社内データを追加事前学習させた「Panasonic-LLM-100b」を構築していきます。今回開発するLLMのモデルサイズは1,000億パラメータを想定しており、企業が開発する自社専用のLLMとしては国内最大規模*1となる見込みです。

◆取り組み概要

　本取り組みでは、ビジネス領域における国内最大規模の知識を学習させ、ハルシネーション*2を大幅に抑止したストックマークの独自LLM「Stockmark-LLM-100b」に対し、パナソニックグループが保有する社内情報を追加事前学習させることで、パナソニックグループ専用の日本語LLM「Panasonic-LLM-100b」を構築します。

　一般的に国内各社が取り組む自社LLMは、70〜130億パラメータの小型モデルを採用することが多くなっていますが、今回の取り組みでは、パナソニックグループの膨大な社内データを学習させた国内最大級の1,000億パラメータ規模のLLM開発を行い、パナソニックHDで開発中のマルチモーダル基盤モデルへの統合を目指します。また、セキュリティ面に配慮し、企業の秘匿データを安全性高く学習する仕組みも構築予定です。

◆「Stockmark-LLM-100b」について

　「Stockmark-LLM-100b」は、国立研究開発法人新エネルギー・産業技術総合開発機構(以下：NEDO)の事業である、「ポスト５Ｇ情報通信システム基盤強化研究開発事業／ポスト５Ｇ情報通信システムの開発」において開発され、2024年5月に公開したLLMです。
　当該事業は、国内の生成AIの開発力強化を目的として経済産業省が実施するGENIACプロジェクトと連携して実施されているものであり、国内事業者に対して生成AIの開発に必要な計算資源の確保と利用料補助を実施するものです。

　当モデルは、フルスクラッチ*3で開発した1,000億パラメータ規模のLLＭであり、独自に収集したビジネスドメインの日本語データを中心に事前学習を行うことで、日本語・ビジネス領域に特化し、ハルシネーションの大幅抑止を実現することで、厳密さが重視されるビジネスシーンでも信頼して利用することができます。

　今回は、パナソニックHD向けに、公開しているモデルに追加学習を実施し、より精緻化させたモデルを提供、パナソニックグループが保有する幅広いドメイン知識で構成される独自データと組み合わせることで、パナソニックグループのAI活用・社会実装加速に貢献する独自基盤モデル構築を加速します。

◆ 取り組みの背景

　生成AIによって、業務オペレーションや価値創出のあり方が根底から変わりつつあります。しかしながら、現在多くの企業で利用されている汎用型モデルには、以下のような課題もあります。

・利用コストの肥大化

利用量に応じて課金され、使えば使うほど利用コストが肥大化することから、あらゆる業務に組み込むことは困難な場合があります。
・ビジネス領域における知識不足

汎用型モデルはAIを活用したビジネスや事業領域における知識、いわゆるドメイン知識*4が不足していることが多く、そのまま業務に使ってしまうと高頻度でハルシネーションが生じます。それらを利用者が十分な確認をせず利用してしまうことで、ビジネスリスクに直結する可能性があります。

　上記の課題に対し、自社固有のデータを学習させた「自社LLM」開発に取り組む企業も増えています。生成AIを徹底的に使いこなすことは、汎用型モデルをそのままの形で利用するだけでは難しいと言わざるを得ません。革新的な技術だからこそ、一歩踏み込んだ活用戦略が必要です。

　なかでも、部分的な内製化に着手し、自社の技術蓄積に繋げるというアプローチは、中長期的な技術優位性の確保やリスクへの対応という観点で有効な一手です。自社のデータをオープンソースモデルに追加事前学習させることで、プロンプトエンジニアリングやRAG*5、ファインチューニングによるカスタマイゼーションだけでは得られない多くの知識をLLMにあらかじめ学習させることが可能です。これにより、汎用モデルの学習データにない業界専門用語への対応など、自社独自の知識・ノウハウをLLMに統合するこれらのプロセスを通じ、言語モデルの高性能化や、フルカスタマイゼーションに関する技術の社内蓄積に繋がることが期待できます。

◆今後の構想

　今回開発するLLMは、パナソニックHDが開発中のマルチモーダル基盤モデルに統合し、パナソニックHD及び各事業会社におけるAI開発・社会実装を広く加速してまいります。

　ストックマークが有するファインチューニング技術やハルシネーション抑制技術、小型モデルにおける精度向上のノウハウと、パナソニックHDが有するマルチモーダル基盤モデル、膨大な社内データ、ドメイン知識のシナジーにより、パナソニックHDのAI技術戦略である「Scalable AI」及び「Responsible AI」の実現を通じた社会・お客様への貢献を目指します。

*1 : 2024年7月2日現在（パナソニックHD調べ）

*2：人工知能が学習したデータからは正当化できないはずの回答を堂々とする現象

*3： システムを作る際に、既存のモデルを用いずにゼロから組み上げる開発手法

*4：特定の専門分野に特化した知識や知見

*5：検索拡張生成（Retrieval-Augmented Generation）。

　　 外部のデータベースから得た検索情報を組み合わせLLMの回答精度を向上させる手法

◆ パナソニック ホールディングス株式会社　
　 テクノロジー本部　デジタル・AI技術センター　所長 九津見 洋コメント

　パナソニックグループは、お客様に寄り添い、幸せをもたらす企業であり続けたいと考えています。先進的なAI技術開発による学術的な貢献もありますが、それ以上に『AIを事業で活用する』そして何よりも『お客様へのお役立ちにつながる』ことにこだわって取り組んでいます。

　パナソニックグループは、多岐にわたる事業領域で多様なお客様に向き合う企業です。開発したAI技術を、多様な事業領域、多様な現場に迅速かつ効果的に展開するには、わずかな調整、わずかな追加開発でそれらへ適応できる「マルチモーダル基盤モデル」の確立が有効と考えています。昨年プレスリリースで公表した基盤モデルHIPIEもその一環です。

　その基盤モデルを支えるLLMについては、昨今の目覚ましい発展の一方、それぞれの事業領域における知識の深さやハルシネーションの抑制が、今後ますます重要になるでしょう。ストックマーク様のLLMを活用させて頂くことで、私たちの基盤モデルを更に進化させるとともに、ストックマーク様が保有する継続追加事前学習のノウハウの活用で、パナソニックグループのAI活用加速と、更なるお客様貢献に繋げていきます。

◆ ストックマーク株式会社 代表取締役 CEO 林 達コメント

　私たちが利用するデータは指数関数的に増え続け、2025年には22年の約2倍の180ゼタ(兆の10億倍)バイトに達すると言われています。そのデータのうち、我々が簡単に検索できるオープンデータは20％しかありません。残り80％は企業内等に保存されているビジネスに関連したクローズドデータです。

　皆さんがよく知る最新の汎用LLMはオープンデータを中心に学習しています。そのデータ量はエンタープライズ企業1社が保有するデータの1/10にも届きません。すなわち、企業がLLMを活用し、新たなビジネスインパクトを生み出していくためには、保有するデータを活用し、自社ビジネス特性に特化したLLMを構築することだと考えています。

　ストックマークでは、ビジネス領域において汎用LLMを超える知識量とハルシネーション抑制力を有したLLMを開発しています。さらに、効率的かつ、破滅的忘却を防ぐ、継続追加事前学習の技術を有しています。日本を代表する企業であるパナソニックHD様との取り組みをきっかけとして、国内の企業特化LLM開発の進展に貢献していきます。

◆パナソニック ホールディングス株式会社について

　1918 年に松下幸之助が松下電気器具製作所を創業。株式会社組織となった 1935 年以降、松下電器産業株式会社、パナソニック株式会社への社名・体制変更を経ながら、家電、住宅、自動車、産業、通信、エネルギーの各分野で革新的な製品やソリューションを提供してきたパナソニックグループは、2022 年 4 月 1 日にパナソニック ホールディングス株式会社を持株会社とする事業会社制（持株会社制）へ移行しました。2023 年度のグループ連結売上高は 8 兆 4,964億円で、グローバルに事業を展開しています。

URL　　：https://holdings.panasonic/jp/corporate/about.html

◆ストックマーク株式会社について

　ストックマーク株式会社は「価値創造の仕組みを再発明し、人類を前進させる」をミッションに掲げ、最先端の自然言語処理技術を活用し、多くの企業の事業創造活動を支援しています。

　当社は自然言語処理技術を活用し、国内外の約35,000サイトのビジネスニュースを分類しています。業務に直結する情報をAIが届けることにより、組織の情報感度を高め、事業アイデアの着想と組織内での発展を促す「Anews(エーニュース)」、AIが組織や業務に合わせて必要な情報を構造化し、示唆が得られる市場調査サービス「Astrategy(エーストラテジー)」を通じて企業の新たな価値創造をサポートします。

会社名　：ストックマーク株式会社

所在地　：東京都港区南青山一丁目12番3号  LIFORK MINAMI AOYAMA S209

設立　　：2016年11月15日

代表者　：代表取締役CEO　林 達

事業内容：自然言語処理を活用した、

　　　　　事業機会の探索と意思決定の支援を行うサービスの開発・運営

URL　　：https://stockmark.co.jp/