RAG実用化サービス「SAT」で自動QA評価をリリース RAGの回答精度検証を大幅に効率化

　ストックマーク株式会社(本社：東京都港区、社長：林 達、以下：当社)は、当社が提供するRAG実用化サービス「Stockmark A Technology、以下：SAT」にて「自動QA評価」をリリースしました。

　「SAT」は、膨大な企業データをRAGシステムで活用できる形式へ構造化するRAG実用化サービスです。多機能AI(マルチモーダルLLM)を活用して、膨大な量かつ複雑なビジネスドキュメントのテキスト・図・表から情報を抽出。構造化データとナレッジグラフを自動生成し、RAGシステム検証を簡単に実行することができます。当機能の追加により、RAGシステム検証において、莫大な工数を必要とするQA評価の大幅な効率化と精度向上が可能になります。

「自動QA評価」機能の詳細

　RAGシステムを構築し、現場ユーザーの活用につなげる実用化において、ユーザーからの質問に対して正しい回答を検索・生成出来ているか否かを検証するQA評価は避けて通ることのできない重要な工程ですが、実際には、このQA評価を多様なユースケースに対応させるために莫大な工数がかかるのが現状です。

　本機能のリリースにより、下記のような課題解決を支援することが可能です。

・RAGの精度評価の手法が分からない（何を持って正しいといえるのか？）

・精度評価に関するQA自体を作成することが難しい

・QAは作成したが、評価に膨大な時間がかかる

・評価を人力で行うと、評価者によって、ブレが出てしまう

・なんとなく回答精度が低いが、どう各パラメータをチューニングして良いのか分からない

・1つのパラメータをチューニングすると、改めて評価がやり直しとなり、また膨大な時間がかかる

・上記の繰り返し・・・

　今回、新たにリリースした「自動QA評価」機能により、RAGシステムの検証にかかる工数の大幅削減と、精度向上をより強力に支援できるようになりました。

1. 数十パターンのパラメータに対して、一括で回答を生成

　SATでは、1つのデータセットに対して、構造化 / LLM / システムプロンプト等、精度改善のポイントとなるパラメータを複数調整することができ、事前に用意された質問群に対して、この数十と存在するパターンを一括で自動評価することができます。これにより、データに適したパラメータの早期発見を実現します。

2. QAの自動評価に加え、評価根拠の明示で最終評価を支援

　生成された回答が妥当か否かを想定回答に基づいて生成AIで自動評価します。評価を「良し、評価不能、悪し」の３つの区分で行うことで、人が注力して評価する対象の優先度をつけられるようにし、評価時間の大幅短縮に貢献します。

　一方で、現状の生成AIが生成する回答結果は、誤りが含まれる可能性や、データソースや想定回答自体が妥当でない可能性もあり、生成された回答をそのまま最終的な評価結果として用いるには問題が生じる場合があります。そのため、本機能では「結果を受け入れるか否かの判断」「評価結果の理由」を提示することで、QAの最終評価プロセスまで支援することが可能です。

自動評価した状態

評価理由の提示

「SAT」について

　「SAT」は、膨大な企業データをRAGシステムで活用できる形式へ構造化するRAG実用化サービスです。
　多機能AI(マルチモーダルLLM)を活用して、膨大な量かつ複雑なビジネスドキュメントのテキスト・図・表から情報を抽出。構造化データとナレッジグラフを自動生成し、RAGシステム検証を簡単に実行することができます。

・「SAT」公式サイト：https://sat.stockmark.co.jp/

「SAT」の特徴

特徴①：複雑な構成のデータを簡単かつ高精度に構造化

　ビジネスシーンで頻繁に用いられている、図や表を含むあらゆる形式で構成された、複雑かつ膨大な量のドキュメントを、簡単にテキスト抽出し、検索可能なデータ形式に変換することができます。

特徴②：ナレッジグラフの自動生成

　構造化されたデータベースから概念同士の関係性を理解したナレッジグラフを自動生成します。これにより組織固有の専門性が高い知識でも正しく検索・回答生成が可能になります。

特徴③：RAGシステムの検証や、継続的な改善が実現可能

　構造化されたデータベース、自動生成されたナレッジグラフに対して、質問・回答の検証を実施できます。これにより組織のRAGシステム構築を加速し、対象のドキュメントが増加しても、簡単に構造化や検証が可能となり、RAGシステムの検証・改善継続的に実現します。

今後の開発ロードマップ

　今後「SAT」では、組織の生成AI活用をより強固に支援するプラットフォームとして、データ構造化からRAGシステムの構築/検証/改善までを、ワンストップで実現可能なサービスを目指しています。

　更に「SAT」を活用したデータベースをAPI経由で接続可能にすることで、組織内のRAGシステムへ簡単に接続、継続的な改善サイクルの実現を目指します。

データ構造化の重要性

　2022年以降、急速に注目された生成AIは、ビジネスシーンでも約7割の企業が何かしらの形で生成AIを導入している一方で、実際の利用頻度は、数日に１回程度が約35％と主流となり、各社で生成AIツールの導入が進んでいる割には、高頻度に利用できているユーザーが少ない状況にあります※1。

　その理由として、生成AIが事実と異なる生成をしてしまう「ハルシネーション(もっともらしい嘘)」が主な理由と言えます。ハルシネーションの抑止策として、既存のデータベースから検索・回答生成を行う「RAGシステム」の利用が一般的です。しかし、業務データを用いたRAGシステムを構築するためには、組織内データの大半を占める、図表を含む複雑な形式の非定型ドキュメントを、検索可能なデータ形式に変換する「データ構造化」が必要です。正しく構造化されたデータでRAGシステムを構築することで、組織内の専門的な知識や情報を検索し、生成AIによる正確な回答生成が可能になります。

※1：製造業における生成AIの活用とセキュリティ状況　https://stockmark.co.jp/news/20240418

ストックマーク株式会社について

　ストックマーク株式会社は「価値創造の仕組みを再発明し、人類を前進させる」をミッションに掲げ、最先端の生成AI技術を活用し、多くの企業の企業変革を支援しています。

　社内外の情報をワンストップで検索できる「Anews」及び、あらゆるデータを構造化し企業の資産に変える「SAT(Stockmark A Technology)」を運営しています。さらに、企業特化生成AIの開発や、独自システムの構築も支援しています。

会社名　：ストックマーク株式会社
所在地　：東京都港区南青山一丁目12番3号  LIFORK MINAMI AOYAMA S209
設立　　：2016年11月15日
代表者　：代表取締役CEO　林 達
事業内容：自然言語処理を活用した、
　　　　　事業機会の探索と意思決定の支援を行うサービスの開発・運営
URL　　：https://stockmark.co.jp/