法人向けRAG「ChatSense」、回答精度92.2%を達成。業界トップ水準を更新
株式会社ナレッジセンス（本社：東京都港区、代表取締役CEO 門脇 敦司、以下ナレッジセンス）は、当社が提供する法人向け高精度RAGサービス「ChatSense」において、公開データセットを用いた評価で、回答精度92.2%を達成したことをお知らせします。同一データセット・同一採点方式による公式リーダーボード首位（86.3%）を上回り、業界最高水準を更新する結果となりました。
ChatSenseでは、社内文書を取り込み、その内容を根拠に回答する追加学習AI（RAG）を提供しています。社内データ検索の精度改善サービスをご希望の場合、詳しくはお問い合わせください。 https://chatsense.jp/contact
ChatSenseについて： https://chatsense.jp/
■ リリースの背景 ― 「社内データ検索（RAG）の精度を、サービスごとにに比較したい」
ChatGPTをはじめとする生成AIは、業務効率化やサービス品質向上を目的として、多くの法人で導入が進んでいます。ナレッジセンスの提供する「ChatSense」においても、セキュリティの高い環境や社内データの追加学習機能など法人向けの強みが注目され、東証プライム上場企業を含む大手企業等、500社以上に導入されています。
ChatSenseでは、社内文書を取り込み、その内容を根拠に回答する追加学習AIを提供してきました。その際、「回答精度」は、法人がRAGサービスを選ぶ際の重要な判断材料となります。
一方で、「RAGの精度」は、各社が独自の評価基準と独自の採点方式で公表しており、比較が難しいという課題があります。この度、ナレッジセンスでは、評価データセットと採点方式のいずれも、公開されている共通のデータを用いて計測し、業界最高水準を更新しました。
このように共通化の動きを取ることで、生成AI・RAG業界全体にとってポジティブな影響を促し、ユーザーの皆さまが安心してサービス活用をできるよう、努めてまいります。
■ 計測結果の概要
1. 全300問・3回計測の平均で92.2%を記録
ChatSenseが実際にユーザーに提供しているものと同じ構成で、精度を計測しました。「Allganize RAG-Evaluation-Dataset-JA」という日本語データセットを利用し、全300問から平均92.2%を記録しました。
2. RAGの精度、業界最高水準を達成
同一データセット・同一採点方式によるAllganize社公式リーダーボード首位の86.3%（Alli / claude3.5-sonnet）を上回る結果となりました。
3. 評価データセット・採点方式の公平性について
この度の精度検証に用いたデータ、採点方法は全て、公開されているものを利用しております。
「Allganize RAG-Evaluation-Dataset-JA」は、流通・小売、製造、公共、情報通信、金融の5業種から各60問を収録した、日本語の公開RAG評価データセットです。全300問を計測しています。また、採点についても、Allganize社が公開している自動採点方式に準拠しました。
■ 株式会社ナレッジセンスはRAG技術で高い技術力を持っています
ナレッジセンスは、RAG（社内データの検索技術）について日々研究を続けるとともに、その成果を対外的にも発信しており、国内のRAG技術エコシステムに貢献しています。
技術発信： https://zenn.dev/knowledgesense/articles/148dfe2ca1d146
■ 法人向けChatGPTサービス「ChatSense（チャットセンス）」とは
「ChatGPT」は、2022年秋に米OpenAI社がリリースした大規模言語モデルの一種です。ナレッジセンスが提供するChatSenseとは、セキュリティを強化した形でChatGPTを利用しつつ、コスト面でも優位性のあるサービスで、法人・自治体の業務効率を向上させるサービスです。以下の特徴がございます。
1. チャット内容をAIの学習から守る機能
エンタープライズプラン、スタンダードプラン、無料のスタータープラン、全てで利用可能な共通の機能です。
法人向け生成AIサービス: https://chatsense.jp/blog/enterprise-ai-comparison
2. プロンプトを社内共有できる機能など、豊富な独自機能
通常のChatGPTには見られない法人契約向けの機能が特徴です。他にも、メンバーの一括管理機能、フォルダ＆ドラッグ機能など、日々アップデートを重ねており、そのほとんどが、無料プランから利用可能です。
3. ChatSenseは初期費用が無料、最低利用期間の縛りがない
「使ってみないとわからない」という企業のみなさまの気持ちに応えるため、導入のハードルをなるべくさげ、無料で利用可能な範囲を大きく広げています。
ChatGPTの法人契約のメリットについてはこちらもご覧ください。 https://chatsense.jp/blog/chatgpt-business-plan
■ ナレッジセンスについて
ナレッジセンスは、企業のDXを加速し、あらゆる社員の生産性を向上させるため、法人向けChatGPTサービス「ChatSense」・事業コンサルティングを提供しています。ChatSenseだけでなく、生成AIに関する複数のサービスをリリースし、グローバルのユーザーに提供している実績がございます。ナレッジセンスでは、生成AIを活用して社員の業務効率を加速したい企業からのご相談をお待ちしております。
ナレッジセンスは、生成AIを利用して社員の生産性を大幅に向上させ、デジタルトランスフォーメーションを推進するための活動に尽力して参ります。
以上
■ 会社概要
会社名：株式会社ナレッジセンス
本社：東京都港区六本木七丁目18番18号 住友不動産六本木通ビル2階
代表者：代表取締役CEO 門脇 敦司
設立：2019年4月10日
事業内容：「ChatSense」および生成AIテストサービス「Ozone」などの企画・運営 / 生成AIを活用したDX戦略コンサルティング / 社内外向けのソリューション開発
エンタープライズ企業向け「Notebook」機能 https://chatsense.jp/function/notebook
法人向けエージェント「Cowork」 https://chatsense.jp/function/cowork
スライドAIエージェント https://chatsense.jp/gallery/slide-gen
すべての画像