AIスタートアップのRecursive、RAG技術の評価向けに、オープンソース型のベンチマーク用ツールを公開

「Flow Benchmark Tools」でRAGの評価基準を標準化、多様多種な業界におけるRAGの効果的な導入を促進

●Recursiveは、日本語の性能に焦点を当て、あらゆるRAGパイプラインのベンチマークの標準化を可能にさせる、包括的なツールパッケージを開発。

●本ツールでベンチマークの検証を行った結果、市場にある主要なRAGパイプラインよりも、Recursiveが独自で開発したRAG技術「FindFlow」の方が、質問応答と文書全体の理解の両面において優れていることが明らかに。

サステナブルな事業変革を促進するAIソリューションの開発会社、株式会社Recursive（本社：東京都渋谷区、代表取締役：ティアゴ・ラマル、日本語名：リカーシブ、以下「Recursive」）は、RAG（検索拡張生成：Retrieval-augmented generation、※1）システム向けにオープンソース型のベンチマーク用ツールパッケージ「Flow Benchmark Tools」（フロー・ベンチマーク・ツール）を公開したことをお知らせいたします。Flow Benchmark Toolsは、RAGシステムの評価において業界標準となることを目指し、文書特有の情報検索能力とエンドツーエンドの文書処理能力に重点を置き、実社会における実際のシナリオを反映したRAGシステムの評価と最適化を行えるように設計されています。RecursiveのFlow Benchmark ToolsはオープンソースコードとしてGitHub（ギットハブ）に公開されており、世界中のエンジニアにご活用いただけます。

【背景と、RAGシステムのベンチマークにおける現状の課題】

昨今、さまざまな業界における組織で、ビジネスに変革をもたらすソリューションとしてRAGがますます注目されている一方、市場に出回っているあらゆるRAGパイプライン（※2）をベンチマークするうえでは、標準化された包括的な方法はありません。信頼をおけるベンチマークがなければ、RAGの導入を検討する組織は、自社特有のユースケースに最も効果的なRAGのツールを特定し、選択することが困難になるという深刻な課題に直面する可能性があります。またこのことは、RAGの導入が遅れるだけでなく、効果が限定的なソリューションを導入するなど、貴重なリソースを浪費するリスクも増大しかねません。

加えて、非英語の言語のRAGシステムをベンチマークする手法は不足しており、その中でも日本語の性能を評価できるものは特に限られています。このような背景から、特に日本の事業会社にとって、自社特有の言語的および文化的ニーズに適したRAGツールを効果的に評価し導入することは、一層困難な状況となっています。

【Flow Benchmark Toolsの主な特長】

Flow Benchmark Toolsは、セマンティック検索（意味的検索）、クエリ生成、そしてLLM（大規模言語モデル）に基づいた回答生成など、RAGパイプライン特有の複雑性に対応した機能を搭載しています。そのため、微妙なニュアンスを精確に捉えることもできる、包括的な評価を提供できるツールです。

本ツールの主な特徴は、次の通りです：

• 日本語を含む多言語機能：Flow Benchmark Toolsは英語のほか、日本語の性能に焦点を当てて開発しているため、RAGシステム性能における日本語能力を精確に測定することができます。

• RAGパイプライン全体における、包括的な評価：文書の生データ処理からレスポンス生成に至るまでのパイプライン全体を評価することで、Flow Benchmark Toolsは、RAGシステムの性能をより総合的かつ実用的に評価することが可能です。

  • 客観性と頑健性を最大限に確保し、潜在的なバイアスを軽減させ、包括的な性能評価を実現すべく、本ツールでは、GPT-4、Claude 3、Geminiを含む最先端のLLM技術を活用する自動評価システムを採用しています。

  • 自動評価システムは、0（最低）から10（最高）までの値を持つ平均意見評価を出力します。

• オープンソースの開発アプローチ：Flow Benchmark Toolsは、AI業界におけるコミュニティ内での透明性とコラボレーションを促進するために、オープンソースのアプローチを採用して開発されました。これにより、あらゆる組織がRecursiveの技術を活用し、それぞれのニーズに合わせてカスタマイズして利用できます。

【ベンチマークの検証結果】

Recursiveは公開に先駆け、Flow Benchmark Toolsを使用したベンチマークの検証を行い、LLMを基にRecursiveが独自に開発した完全にカスタマイズが可能な生成AIアシスタント「FindFlow」（ファインドフロー）を、市場に出ている３つの最先端の生成AIソリューションと比較しました。検証は、徹底的かつ公平に行い、実社会における実際のシナリオを反映するように設計され、2024年6月7日から7月19日に実施されました。ベンチマークでは、RAGを用いた質問応答と、文書全体の理解という、パイプラインにおいて2つの重要な領域における性能を評価しました。

また、ベンチマークの過程においては、日本政府が公表しているあらゆる文書と、難易度の高い質問をデータセットとして利用しました。

その結果、Recursiveが開発したRAGアプリケーションであるFindFlowの優位性が明らかになりました：

• FindFlow SearchAI（ファインドフロー・サーチエイアイ)：大規模な文書のデータベースから、事実の情報を発見するよう最適化された、FindFlowの機能名）は、RAGを用いた質問応答の性能においては、最低０から最高１０までの評価段階の内、平均評価8.42を達成しました。これは、主要な競合他社によるソリューションよりも0.61〜1.41ポイント上回る結果です。

• FindFlow AnalysisAI（ファインドフロー・アナリシスエイアイ)：文書やコミュニケーションを深く分析するために最適化された、FindFlowの機能名）は、文書全体の分析性能においては、最低０から最高１０までの評価段階の内、8.90のスコアを記録しました。これは、他の主要なAIソリューションよりも1.68から2.61ポイント上回ることを示唆しています。

この検証結果は、複雑で膨大な量のドキュメントがあるシナリオに対し、優れた対応力をもつRAG技術を開発するという、Recursiveのコミットメントを示すものでもあります。

Recursiveの共同創業者 兼 CEOであるティアゴ・ラマルは、次のように述べています。
「RecursiveのFlow Benchmark Toolsは、RAGシステムの評価において大きな進展をもたらすと考えています。本ツールをオープンソース化することで、全世界におけるAI業界のコミュニティの皆さまと協力し、AI主導の文書分析と検索における可能性の限界をさらに押し広げていけることを期待しています。」

Recursiveは今後、AI業界のコミュニティからのフィードバックも取り入れるなどして、他の言語も取り入れたり、手法なども改良しながら、本ツールを継続的に改善・拡張していく予定です。また、Recursiveは引き続き、サステナブルな事業変革の促進のみならず、RAG技術の発展と、全世界におけるAIコミュニティをエンパワーすることに対するコミットメントを追求してまいります。

※1　RAG（検索拡張生成：Retrieval-augmented generation ）：外部のナレッジベースから事実を検索・取得し、それを基にして大規模言語モデル（LLM）が最も正確で最新の情報に基づいた生成を行うためのAIフレームワーク。これにより、ユーザーもLLMの生成プロセスについての洞察を得ることが可能。

※2　RAGパイプライン：RAGを実行するための、コーディングの一部。

【参考資料】

• Flow Benchmark Toolsの詳細と、公開されたオープンソースについての詳細：
  https://recursiveai.co.jp/ja/blog/introducing-flow-benchmark-tools/

• FindFlowについての詳細：https://www.findflow.ai/ja/

• GitHubで公開されている、Flow Benchmark Toolsのページ： https://github.com/recursiveai/flow_benchmark_tools

【株式会社Recursiveについて】

持続可能な未来を構築するための AI ソリューションを提供するサービスプロバイダーです。環境、エネルギー、医療、製薬、食品、小売など多岐にわたる業界の知見と高度な技術力、サステナビリティ事業に関する専門知識を組み合わせ、AI のシステム開発やコンサルテーションサービスを提供しています。より良い地球環境や社会を未来の世代に残すために、比類なきプロフェッショナルが世界標準のテクノロジーで新しい社会つくりをリードします。 

会社名：      株式会社Recursive （英語名称：Recursive Inc.）

本社所在地：東京都渋谷区渋谷一丁目7番1号 渋谷S-6ビル 6階

設立：         2020年8月

共同創業者：ティアゴ・ラマル / 山田勝俊

事業内容：   AIの研究開発およびサステナビリティに関連するソリューションの提供

従業員数：   59名（正社員・業務委託・インターン含む、2024年7月時点）

URL：         https://recursiveai.co.jp/

〈同時配布先：総務省記者クラブ、科学記者会〉