法人向けRAG AskDona、RAGのデータ不足を分析しRAG運用のPDCAを回せる「RAGデータ不足分析機能」をアップデート

一歩先へ！RAG運用におけるPDCAサイクルを確立するために必要な「RAGデータ不足分析機能」

AskDona、「RAGデータ不足分析機能」をアップデート

株式会社GFLOPS（本社：東京都渋谷区、代表取締役CEO：盛本マリア、共同代表：鈴木亮祐、以下、GFLOPS）は、法人向けRAGプラットフォーム「AskDona（アスクドナ）」において、生成AIが回答できなかった質問を分析し、RAGのデータ運用におけるPDCAサイクルを効率的に回せる「RAGデータ不足分析機能」をアップデートしたことをお知らせいたします。

AskDonaについて知る

◾️「RAGデータ不足分析機能」アップデートについて

従来、機械学習型のAIチャットボットでは、ユーザーからの「いいね」「悪いね」といったフィードバックがデータ改善の指標として活用されてきました。しかし、RAG（Retrieval-Augmented Generation：検索拡張生成）を介した生成AIの回答は、ユーザーからの評価だけでは、RAGに学習させたデータそのものの品質が十分なのか、あるいは、データと質問との関連性が低いのかなど、運用者がデータ改善に向けた具体的な判断を行うための明確な指標が不足しているという課題がありました。

GFLOPSが行った直近の調査では、ユーザーからの質問の約14.5%に対し「回答できません」「情報が見つかりません」といった趣旨の応答が発生しており、その多くはデータベース内の情報不足に起因することが判明しています。この状況を踏まえ、これらの応答を減らし、ユーザーからのより多くの質問に的確に回答できるデータベースを構築することが、ユーザーの利便性向上に直結すると考えられます。

今回のアップデートでは、上記課題の解決に向け、生成AIの回答内容（「回答できませんでした」「申し訳ありません」など、回答ができなかった場合の応答）を自動で分析し、管理者に「生成AI不回答分析情報」として提供する機能を管理画面に追加しました。これにより、管理者は回答できなかった質問の内容を把握し、データ拡充や改善を行うべき箇所を特定することができます。さらに、管理者がデータ修正や追加を行った質問に対して「✅解決済み」マークを付与することで、生成AIが不回答と判定したデータの課題解決状況を可視化し、PDCAサイクルを効率的に管理できるようになります。

AskDonaのサービスページはこちら

AsKDonaの「RAGデータ不足分析機能」のイメージ図

◾️AskDonaが推奨するRAGのPDCAサイクル

AskDonaは、以下のサイクルを通じて継続的なデータ改善を推奨しています。

課題の発見と特定:

AskDonaでは、管理者が組織内のユーザーのAskDonaの利用状況を確認できる「インサイト」ページが提供されています。この「インサイト」ページの一部の機能としてある「分析情報」では、AskDona　RAGがデータ不足により適切な回答を生成できなかったときの「ユーザーの質問」と「AskDonaの回答」を毎日分析して管理者が確認できます。

データベースの分析:

「分析情報」を活用し、どのような質問に「回答できません」といった応答が発生しているのか、その傾向を分析します。回答できない質問の種類や頻度を把握することで、データベースの弱点を特定します。

データベースの拡充:

データベースに不足している情報を特定したら、関連資料をデータベースに追加します。既存の資料で不足している情報があれば、資料を補完する形で新たな情報を作成し、追加することも検討します。資料を追加する際は、後々の検索性を高めるため、適切なメタデータを付与することを意識します。

解決状況の管理:

データベースへの追加対応が完了した質問には、「✅解決済み」マークを付与します。これにより、対応済みの質問と未対応の質問を明確に区別し、改善活動を効率的に進めることができます。フィルタ機能で「未解決」を選択することで、対応が遅れている質問を優先的に絞り込むことが可能です。

効果測定と改善:

データ更新後、一定期間をおいて再度「インサイト」を確認し、回答率が向上したか、課題が解決されたか効果測定を行います。効果が見られない場合は、質問内容、データ、メタデータなどを再度見直し、改善策を検討します。

AskDonaの機能について

導入企業における成功事例

AskDonaのデータ改善PDCAサイクルを実践することで、多くの企業が目覚ましい成果を上げています。

事例１:
徹底的なデータ改善により、運用開始から1ヶ月後には「回答できない」という応答を80%削減

事例２:
社員からの質問傾向を分析しFAQを拡充することで、自己解決率を大幅に向上

このデータ改善PDCAサイクルを継続的に実施することで、AskDonaは組織全体の情報活用を促進し、業務効率化に大きく貢献します。

AskDona RAGのウェビナーご案内：
高精度RAG「AskDona」の事例から学ぶ、組織におけるデータ活用と継続的な改善戦略

ウェビナーに参加する

タイトル	【無料ウェビナー】生成AI導入担当者必見！ 法人向けRAG導入の成否を分けるRAGのPDCAサイクル
日時	3月13日（木）11:00～12:00
開催形式	オンライン（Zoomウェビナー）
参加費	無料（事前登録制）
申込方法	Zoomの申し込みページよりお申し込みください。

■ AskDonaについて

AskDonaは、「社内ドキュメントの探す、読む、理解する、考えるを10秒で解決する生成AI。」を提供する法人向け生成AIプラットフォームです。企業独自のデータを活用し、「RAGチャット」と「GPTチャット」の2つの対話機能を備えた高精度な生成AIソリューションを提供しています。

詳しくは公式サービスページをご覧ください。

■ 株式会社GFLOPSについて

株式会社GFLOPS（ジーフロップス）は、最先端のAI技術と、データ分析力を強みとし、企業の業務効率化とイノベーション創出を支援するAIソリューションを提供しています。特に、大規模言語モデル（LLM）とRAG（検索拡張生成）技術を組み合わせた独自のソリューションは、高い回答精度と柔軟性を実現しており、多くの企業で導入が進んでいます。

会社名：株式会社GFLOPS（英語表記：GFLOPS Co., Ltd.）

代表者名：代表取締役CEO 盛本マリア、共同代表 鈴木亮祐

本社所在地：東京都渋谷区

事業内容：大規模言語モデル（LLM）生成AI技術等を活用したAIサービスの開発・提供

公式HP：https://www.gflops-ai.com/