ゴムマリの専門業務AI-BPO、『RAGの評価データセット作成』を提供開始

社内のAI（RAG）の精度評価は、数問試した印象では、どの業務を任せてよいか決められません。業務の場面ごとに正解つきの質問のセットを作って実際に聞き、誤答の原因と直す順番までお返しします。

ゴムマリ株式会社（東京都、代表取締役: 村山悠太）は、AIが処理し人が確かめて成果物を納める「専門業務AI-BPO」のメニューとして、社内の文書を検索して答える生成AI（RAG）の正答率を、業務の場面ごとの正解つきの質問で測る「RAGの評価データセット作成」の提供を2026年10月20日より開始します。貴社の文書の原本から正解つきの質問のセットを作り、貴社の社内のAIに実際に聞いて正答・誤答・出典違いを採点したうえで、誤答の原因を文書の崩れ・検索の取りこぼし・回答の誤りに分け、直す順番をつけてお返しします。価格は50万円から（納期の目安は1週間）で、文書・設定・モデルを変えたあとの測り直しは、業務AIエージェント導入（月額）で続けられます。

▶ 詳しくは: https://gomumari.com/spot/rag-hyoka/

1. RAGの精度評価が「何問か試して、だいたい合っている」で終わってしまう理由

全国のビジネスパーソンへの調査では、RAG（社内データをAIに活用する仕組み）を「導入済み」と答えたのは17.8%にとどまり、導入できていない理由の1位は「どの業務に使えるか分からない」（29.1%）、2位は「技術的知識・人材の不足」（27.5%）でした（※1）。1位の「どの業務に使えるか」という問いは、導入した後にも残ります。どの業務の質問なら社内のAIに任せてよく、どこではまだ原本を確かめるべきかは、正答率を業務の場面ごとに測らなければ分からないからです。

ところが精度の確かめ方は、担当者が思いついた質問を何問か試し、「だいたい合っている」と判断するところで止まりがちです。試す質問は作った人が答えを知っている質問に偏り、合っているかの判定も試す人によって揺れます。誤答が見つかっても、原因が文書の側（表が崩れている、古い版が残っている）にあるのか、検索の取りこぼしか、回答での取り違えかが分からず、直す先が決まりません。設定やモデル、入れる文書を変えたときも、前と同じ質問で比べていないため、良くなったのかどうかが分かりません。

正答率が分からないままでは、利用者は社内のAIの答えを原本で確かめ直し、結局は詳しい人に聞きに行きます。確かめ直さなければ、出典まで添えられたもっともらしい誤答が、そのまま業務の判断に入ります。任せてよい業務を示せないので、ほかの部門へ広げる判断も進みません。精度を測る物差しが無い限り、社内のAIの答えを確かめる仕事は、人の側に残り続けます。

2. どう動くか（正解つきの質問のセットを作り、社内のAIに実際に聞いて採点する）

「RAGの評価データセット作成」は、次の4つの段階で進めます。質問と正解の下書きと採点はAIが処理し、正解は当社が原本で確かめ、判断が割れるものは貴社が確定します。

1. 場面と範囲を決める: 社内のAIが受ける質問を業務の場面（規程の確認、製品の仕様の確認など）に分け、対象の文書を貴社と決めます

2. 正解つきの質問を作る: AIが原本から場面ごとに質問と正解を下書きし、正解には原本の該当箇所（文書名とページ・条項）を添えます。よく受ける質問の例があれば土台にし、表の中の値、版による違い、文書に答えが無い質問など、取り違えやすい質問も入れます

3. 実際に聞いて採点する: 貴社の社内のAIに作った質問を聞き、回答を正答・誤答・出典違い（根拠として示した箇所が、答えの裏づけになっていない）に採点します

4. 原因を分けて、直す順番を出す: 誤答を、文書の崩れ（表や図の崩れ・古い版の混在）、検索の取りこぼし（該当箇所を拾えていない）、回答の誤り（拾った箇所を取り違えた）に分け、直すと正答が増える順に並べます

質問のセットは、実際に受ける質問の分布を映す、機械で採点できる形にする、人が手で採点する少数より機械で採点できる多数を優先する、の3点に沿って作ります。AIモデルの開発元の一社であるAnthropicも、評価の設計の指針にこの3点を挙げています（※2）。

処理フロー概念図: 文書の原本→質問を作る→聞いて採点する→原因を分ける→正解つきの質問のセット＋採点・原因・直す順番の報告

社内のAIに入れている文書一式（または閲覧の権限）と、よく受ける質問の例（あれば）は、貴社の普段の方法のまま（メール・共有フォルダ等）お送りいただきます。社内のAIに質問できる環境をご用意いただければ、採点まで当社で進め、正解つきの質問のセットと、採点・原因・直す順番の報告をまとめて納品します。専用システムの導入も、操作の習得も不要です。 質問のセットは評価に使うもので、AIの追加学習用のデータは作成しません。

3. 正答率を測った後、社内のAIの担当者の作業はこう変わる

測る前: 社内のAIの精度は、何問か試した印象でしか語れません。誤答の報告が届いても原因が分からず、設定を変えても、良くなったのかを確かめる手段がありません。

測った後: 業務の場面ごとの正答率と、誤答の原因の内訳が手元にあります。採点の結果には、たとえば「質問: 出張旅費の精算の期限は／判定: 誤答（根拠にしたのは改定前の規程）／原因: 文書の崩れ（改定前の版が対象に残っている）」のように、1問ずつ判定と原因が並び、直す順番の提案が添えられます。担当者に残るのは、その一覧を見て、どの文書を直し、どの業務から社内のAIに任せるかを決める判断です。

変わるのは次の3点です。

• 時間: 答えを原本で確かめ直す時間と、質問を考えて何問か試す時間が、正答率の低い場面の確認に絞れます。「どの業務に使えるか分からない」という問いにも、任せてよい場面と確かめるべき場面を、場面ごとの正答率で分けて答えられます

• ミス: 誤答と出典違いが一覧になり、原因ごとに直す先（文書・検索の設定・回答の指示）が決まるため、質問のセットで測った範囲では、もっともらしい誤答を業務の判断に入る前に見つけられます。質問のセットは手元に残るため、設定・モデル・文書を変えたときも、同じ質問で前後の正答率を比べられます

• 属人化: 正解は原本の該当箇所で裏づけられるため、採点する人によって結論が揺れにくくなり、試す人の感覚や答えを知っている人の記憶に頼らずに精度を語れます。「技術的知識・人材の不足」を抱えたままでも、評価の物差しが貴社の手元に残ります

▶ メニューの詳細（納品物・進め方・価格）: https://gomumari.com/spot/rag-hyoka/

▶ 毎月の測り直しまで任せる（業務AIエージェント導入）: https://gomumari.com/service/agent/

4. 正解の決め方と、測り直しの回し方

「RAGの評価データセット作成」は、AIの精度を評価セットで測ってから業務に載せてきた当社の進め方をもとにしています。法務領域のSaaS企業のAI機能の検証では、評価セット（正解つきの質問のセット）約100件を設計し、白黒のつく事例だけでなく、実務で判断が割れる事例を厚く入れました。正解のラベルは弁護士の監修で確かめ、ラベルが変わるたびに全件を測り直しています。上位のモデルへの切り替えや判定の二段構えといった改善の案も、足す前に同じ評価セットで測り、優位が出なかったため構成を増やさずに本実装へ渡しました。この検証を経て、プロダクトへの組み込みへ進んでいます。RAGの評価でも、判断が割れる正解は貴社に確かめて確定します。お返しする質問のセットは、モデルや検索の設定を変える案を採り入れる前に、同じ条件で測る物差しとしてお使いいただけます。

5. 代表者コメント

「当社は、AIを業務に載せる前に評価セットで精度を測ることを、実装の進め方の土台にしてきました。社内のAIが現場で使われない理由は、性能の不足より、どの質問なら任せてよいかを誰も数字で言えないことにあると考えています。AI機能の検証の現場では、上位のモデルに替えるといった効きそうに見える改善が、同じ評価セットで測ると優位を示さないことも確かめました。社内のAIを入れた企業が、任せる業務と直す箇所を、自社の文書に基づく正解で決められるようにしていきます。」（ゴムマリ株式会社 代表取締役 村山悠太）

6. 製品ラインと今後の展開

ゴムマリは、データの分析・チェック・整備などの専門業務を、AIが処理し人が確かめて、価格と納期を先に確定した成果物として納める「専門業務AI-BPO」を提供しています。「RAGの評価データセット作成」はそのメニューの一つで、文書・設定・モデルを変えるたびに同じ質問のセットで測り直す段階では、業務AIエージェント導入（月額）で続けられます。評価で文書の崩れが主な原因と分かった場合は、スポットメニューの「マニュアルのデータ構造化」「社内ナレッジのAI検索化」で、直す作業もお受けします。

※1 「RAG（社内データをAIに活用する仕組み）の認知・導入実態に関する調査」（株式会社Digeon、2025年12月16日公開、調査期間2025年12月5日〜8日、N=517・全国のビジネスパーソン、インターネット調査）

※2 Anthropic「Define success criteria and build evaluations」（開発者向けドキュメント）

概要

項目	内容
対象業務	RAGの評価データセット作成（社内のAI〔RAG・AI検索〕の正答率の評価）
お送りいただくもの	社内のAIに入れている文書一式（または閲覧の権限）・よく受ける質問の例（あれば）・社内のAIに質問できる環境
お返しするもの	正解つきの質問のセット（原本の該当箇所つき・業務の場面ごと）＋社内のAIに実際に聞いた結果の採点（正答・誤答・出典違い）＋誤答の原因の分類（文書の崩れ・検索の取りこぼし・回答の誤り）＋直す順番の提案
前提	質問のセットは貴社の社内のAIの評価に使い、AIの追加学習用のデータは作成しません。ご利用中の社内のAIをそのまま評価します（新しいシステムの導入は不要）。社内のAIの構築・改修は含みません
期間	1週間（目安。着手前に確定）
価格	50万円〜（分量により、着手前にご提示）
毎月の測り直し	文書・設定・モデルを変えたあとの測り直しは、業務AIエージェント導入（月額）で続けられます（進む場合は、本メニューの費用を初期構築費に全額充当できます）

※記載の価格・期間は配信時点のものです。価格・提供条件は改定される場合があります。最新の条件は当社Webサイト（サービス詳細ページ）をご確認ください。

ユースケース

• 社内のAIを入れて数か月がたち、利用者から答えの誤りの報告が届き始めた情報システム・DX推進の部門: 報告のあった1問ずつの手直しではなく、誤答の原因の内訳から直す順番を決めたいとき

• モデルの切り替え、検索の設定の見直し、文書の追加を控えている時期: 変える前と後で、正答率が上がったのか下がったのかを、同じ質問で比べておきたいとき

• 社内のAIの利用を、ほかの部門や全社へ広げる前の企業: どの業務の場面なら任せてよいかを、正答率の数字で社内に説明したいとき

会社概要

項目	内容
社名	ゴムマリ株式会社
所在地	東京都
代表者	代表取締役 村山悠太
設立	2025年5月
事業内容	AIエージェントの業務実装（FDE型受託・業務単位エージェント導入・AI機能PoC）
URL	https://gomumari.com/

ゴムマリは、AIを業務単位で最適化する会社です。一業務ずつ現場に実装し、減った時間を実測し、仕組みとして残します。

本件に関するお問い合わせ

社内のAIの現状（ご利用中の製品や基盤・入れている文書の種類とおおよその量・主に使う業務の場面）を添えてお問い合わせいただくと、適合可否と進め方を具体的にご案内できます。

▶ お問い合わせフォーム: https://gomumari.com/contact/

ゴムマリ株式会社 広報担当

[e-mail]

▶ メニューの詳細: https://gomumari.com/spot/rag-hyoka/

▶ 毎月の測り直し（業務AIエージェント導入）: https://gomumari.com/service/agent/