LegalOn Technologies、日本の法規制に基づいて大規模言語モデル(LLM)が法的タスクを適切に解決・処理できるかを評価できるベンチマークデータセット「LegalRikai」を開発

～法の分野でLLMの評価と適正モデルの比較に役立てる～

株式会社LegalOn Technologies

2025年3月11日 09時00分

株式会社LegalOn Technologies（本社：東京都渋谷区代表取締役執行役員・CEO：角田望）は、日本の法規制に基づいて大規模言語モデル（LLM）が法的タスクを適切に解決・処理できるかを評価できるベンチマークデータセット「LegalRikai」を開発しました。

■「LegalRikai」と開発背景

「LegalRikai」とは、大規模言語モデル（LLM）が契約書の条文修正や法務相談のキーワード抽出などの法的タスクについて、日本の法律や規制に基づいて解決できるかをを評価するベンチマークデータセットです。

LLMの登場により、リーガルテックを含むあらゆる分野が進歩を遂げてきました。しかし、これまでLLMは主に英語の一般知識用に設計されたベンチマークデータセットを使用して評価されており、英語での高いパフォーマンスが他の言語やドメインでの能力に直結すると想定されています。この想定は、文脈に特化した微妙なニュアンスや専門用語が重要な役割を果たす法務分野では障壁となります。特に、法律や契約書の書き方、用語の意味などは国ごとに規制が異なるため、一般知識用に設計されたベンチマークデータセットでは、日本の法律や規制に基づく法的タスクの解決能力を評価できないことが課題です。

海外では、欧米や中国、韓国などに位置する大学や研究機関によってベンチマークデータセットが開発され、GPT-3、BERT、GPT-4などの評価をおこない、LLMの知識向上に関する研究が活発化しています。

【参考例】

欧米：LexGlue（論文：https://arxiv.org/pdf/2110.00976v4）

　　　LegalBench（論文：https://arxiv.org/pdf/2308.11462）

中国：LawBench（論文：https://arxiv.org/abs/2309.16289）

韓国：LBOX Open（参考記事

KoreaTechDesk：https://www.koreatechdesk.com/legal-tech-startup-lbox-attracts-13-milli

on-in-series-b-investment/?utm_source=chatgpt.com）

海外とは対照的に、日本には国内の法規制に対する理解度を評価するベンチマークデータセットが存在しないため、日本の法的文脈におけるLLMの正確な能力測定ができず、学術研究の進展にも影響を与えています。

こうした背景から、当社はLLMが日本の法規制をどの程度理解しているかを評価する「LegalRikai」を開発しています。2025年2月時点では、契約の条文に含まれるキーワードの検出やタグ付けを行う「条文分類」、契約書に潜むリスクを検出して修正文を提案する「条文修正」の2つの評価が可能な設計となっております。これら以外に契約の要約や争点の特定といった別の性能も評価ができるよう、ベンチマークデータセットを改良をし続けてまいります。なお、「LegalRikai」は2025年2月時点では社内利用が優先になりますが、今後、リーダーボードの公開やLLM間の比較を含む詳細な評価結果も行なっていく予定です。

■「LegalRikai」に関するテックブログはこちら

https://tech.legalforce.co.jp/entry/2025/03/11/083431

■LegalOn Technologiesについて（ URL：https://legalontech.jp/ ）

株式会社LegalOn Technologiesは、「法とテクノロジーの力で、安心して前進できる社会を創る。」をパーパスに掲げ、2017年に森・濱田松本法律事務所出身の弁護士2名によって創業されました。法務知見と生成AIなどの最新のテクノロジーを組み合わせた企業法務の質の向上と効率化を実現するソフトウェアを開発・提供するグローバルカンパニーです。法務業務を全方位でカバーするAI法務プラットフォーム「LegalOn Cloud」を展開しています。また米国にも拠点を置きグローバル向けのAI契約レビューサービス「LegalOn Global」を提供しています。日本初のAIレビューサービス「LegalForce」、AI契約書管理システム「LegalForceキャビネ」など、グローバルにおけるリーガルテックサービスの有償導入社数は6,500社を突破しています。（2024年12月末現在）また、2025年1月から事業をコーポレート全域に広げAIカウンセル「CorporateOn」を提供開始しました。