Archaic、日本語特化型RAGシステムAI 開発、性能評価を公開

図表理解・構造保持による“業務文書に強いRAG”、日本語ベンチマークでトップクラスを記録

株式会社Archaic（代表取締役CEO：横山 淳、本社：東京都渋谷区）**は、日本語業務文書に特化したRAG（Retrieval-Augmented Generation）システムAIを開発し、第三者が公開する日本語ベンチマーク形式の評価データセットを用いた性能評価において、製造業カテゴリおよび全体平均スコアでトップクラスを記録しました。

図表や注釈などを含む複雑な文書の構造を保持しながら自然な回答を生成する“構造理解型RAG”として、業務活用における高精度・高実用性を実証しています。

Archaic　RAGシステムAIの特長 ─ なぜ日本語RAGで最高精度を実現できたのか

多くの企業が抱える課題は、業務で使われている文書が単なるテキストだけでなく、図・表・画像を含む複合構造の文書であるという点にあります。
こうした文書は、一般的な生成AIやRAGでは、文脈の断絶や構造の理解不足により、誤った回答や情報の取りこぼしが発生する原因となっていました。

Archaicでは、これらの課題を解決するために、文書構造そのものを理解し、情報の関連性を保持したまま生成AIに渡す仕組みを開発しました。
その中核をなすのが以下の2つの独自技術です：

① Parser（文書解析エンジン）

文書から文章・図・表・画像を自動で抽出し、構造と意味に応じた単位で分解。
これにより、従来のRAGでは処理できなかった非構造文書も、生成AIが理解可能な形に変換できます。

② Tree-Data構造（情報階層化技術）

抽出された情報は、文脈や関連性を保持した階層構造（Tree形式）で整理。
本文と図、表と注釈などの関係性を維持したまま活用することで、正確で意味のある出力が可能になります。

一般的なRAGとの違い

通常のRAGは「文章のみ」を対象に処理を行い、図・表などが含まれると情報の欠落や文脈の欠如が起きがちでした。
Archaic RAGはこれらを包括的に扱うことで、回答の網羅性・正確性を飛躍的に向上させています。

項目	一般的なRAG	Archaic RAGシステムAI
対応文書	テキスト中心	図・表・画像・注釈含む複合文書に対応
文脈理解力	文単位で分断されやすい	意味の階層構造を保持（Tree-Data）
対応可能な業務	FAQ/ナレッジ程度	マニュアル・仕様書・議事録・設計書など複雑文書
LLM依存度	LLMの能力頼み	前処理・構造化によりLLMの弱点を補完

性能評価とその方法

Archaicでは、公開ベンチマーク形式の日本語RAG評価データセットを使用し、RAGシステムの性能を定量的に評価しました。
このベンチマークは、5業種（金融・情報通信・製造・公共・流通・小売）における業務想定のQ&Aペア（各60問、計300問）から構成されており、
生成結果の正答率によって性能を比較する方式です。

検証に使用した大規模言語モデル（LLM）はClaude 3.5 Sonnetで統一し、RAG構築ロジックによる精度差を比較可能としました。

業種カテゴリ	正答率	正答数（正答／60問）	備考
金融	83.3%	50 / 60	―
情報通信	85.0%	51 / 60	―
製造	91.7%	55 / 60	★最高評価
公共	93.3%	56 / 60	―
流通・小売	93.3%	56 / 60	―
全体平均	89.3%	268 / 300	★最高評価

製造業カテゴリおよび全体平均において、比較対象としたRAG実装群の中で最も高い正答率を記録しました。
これはArchaic RAGシステムAIの構造理解力と前処理精度が、文書生成性能に大きく寄与していることを実証する結果です。

開発者コメント:　株式会社Archaic　CTO　 Zhaoxu Wang

「RAGは"検索＋生成"の枠を超え、今後は"構造理解＋検索＋生成"の時代に入ると考えています。
今回開発したArchaic RAGでは、Tree-Data構造を採用し、複雑な文書構造や図表と文章の意味的関係性を再現可能にしました。
LLMはあくまで出力のインターフェースであり、重要なのは"いかに意味のある文脈を渡せるか"です。
本技術が、業務知識の民主化や文書ナレッジの再活用を加速させることを期待しています。」

 

今後の展望

今後は以下の3つの軸で、実用化・展開を進めてまいります：

•  業種別最適化テンプレートの開発（製造・金融・自治体等）

•  非構造文書向けのマニュアル生成・議事録要約・ナレッジ検索AIの提供 RAGの評価指標

• データセットの共同拡充による、導入指針の確立 

「構造を理解し、意味をつなぐ」新しいRAGを通じて、知識活用の未来を切り拓いていきます。

 

株式会社Archaic

『世界中の人が、AIをもっと身近に電気や水の様に当たり前の様に使うことができる世界を実現する！』をミッションに掲げ、AIの最新技術の学術的知見とグローバルなAIベンダーでの実績を持つ、ディープラーニングや人工知能システムの受託開発、および受託研究開発のスペシャリスト集団です。

Archaicはアルゴリズムをゼロから構築する僅か５％のAIビルダーで、各業界の最先端を目指す大企業のカスタムAIを制作しています。

『もっと身近な環境でAIを活用し、そのメリットを多くの方に伝えていくことで、AIのハードルが下がり、その先に日本国の産業の底上げにも貢献できるのではないか』と考えています。

代表取締役CEO 横山　淳

設立　2017年11月15日

所在地　東京都渋谷区神宮前1-22-1 オークラビル5階

会社HP ：http://archaic.co.jp

本件に関するお問い合わせ先

株式会社Archaic 広報担当
Email：[e-mail]