LegalOn Technologies、Googleの最新モデル「Gemini 3」を自社開発の独自ベンチマークデータセットを用いて検証

～「Gemini 3」は、契約書業務において構造化された推論・ルールの適用が重視されるタスクでは高い成果を発揮するものの、応答速度はに課題～

株式会社LegalOn Technologies（本社：東京都渋谷区、代表：代表取締役 執行役員・CEO：角田望、以下LegalOn Technologies）は、2025年11月18日公開のGoogleが開発する最新AIモデル「Gemini 3」について、独自に開発したベンチマークデータセットを用いて検証いたしました。

■「Gemini 3」とは

Googleの「Gemini 3」は、2025年11月18日に主力モデルとして公開された最新モデルです。従来のモデルと比較して、以下の点が進化しました。

・複合的な情報からの推論能力が強化

複数の情報源を参照し、複雑に絡み合った情報を分析して、論理的に考察して新しい解決策を導き出す。博士号を持つ専門家のように複数の情報を統合して深く考察した答えを出す。

・多様な形式データの理解・処理能力が向上

テキスト、画像、音声、動画、コードなど、あらゆる形式の情報を一度に、かつ文脈を深く理解しながら処理できるようになりました。

・一度に処理できる情報量が大幅に拡大

AIが一度に記憶し、処理できる情報量が大幅に拡大しました。小説一冊分（最大100万トークン）に相当する膨大なデータを一度に読み込み、全体を把握した上で質問に回答します。

■「Gemini 3」の性能を「GPT-5.1」、「Claude Sonnet 4.5」と比較検証

LegalOn Technologiesは、契約書業務の主なタスクである論点の抽出や契約書の修正、プレイブックへのルール反映、契約に関する質問への回答についてのモデル性能を、当社が独自に開発したベンチマークデータセットを用いて日本語と英語の両方で比較検証しました。

その結果、モデル同士の比較では「Gemini 3」は多くのタスクで高い品質を示しましたが、タスクごとに性能差が大きく、応答速度が他モデルよりも2〜4倍程度遅いという課題も明らかになりました。

現時点では、すべての契約業務領域で一貫して優れた性能を示す“万能なモデル”は存在せず、各モデルが異なるタスクでそれぞれ異なる強みを発揮していることが分かります。

英語タスクでは、「Gemini 3」がより多くのタスクで「GPT-5.1」を上回る。精度と速度の観点では GPT-5.1 が優位

英語では、「GPT-5.1」と「Gemini 3」がそれぞれ異なる分野で強みを示しました。「Gemini 3」は、構造化された推論やルールに基づく作業が求められるタスクで優れている傾向があります。

• 要約、抽出、翻訳など契約業務において必要とされるスキルでは、「GPT-5.1」よりも「Gemini 3」が3〜6ポイント上回る精度を記録

• プレイブックに基づいて自社ひな形を修正するタスクでは、「Gemini 3」が「GPT-5.1」よりも約5ポイント高い。取引先が提示した契約書に対するプレイブック適用では両モデルはほぼ同等の精度。一方、リスク検知やリスクに基づく修正が必要なタスクでは GPT-5.1 が優位

• 契約書の修正タスクのうち、自社ひな形の修正では「GPT-5.1」は約30%、「Gemini 3」は約70%と高い評価

一方で「GPT-5.1」は、リスク検知やリスクに基づく修正が必要なタスクで優勢でした。

• 契約書の論点抽出では、「GPT-5.1」が「Gemini 3」を僅差で上回る

• 契約書の修正業務のうち、リスクを検知、またはプレイブックに基づいて修正するタスクでは、「GPT-5.1」の方が「Gemini 3」よりも適切に修正できたケースが多かった

また、「GPT-5.1」は全てのタスクにおいて、「Gemini 3」より2〜4倍の応答速度を発揮しました。

日本語のタスクでは、「Claude Sonnet 4.5」と「Gemini 3」が高スコアを記録

日本語では、英語とは異なる結果が見られました。

• Claude Sonnet 4.5：論点抽出やプレイブックに基づいたレビューで最も高い精度

• Gemini 3：契約書を修正するタスクで最も優れた性能

• GPT-5.1：英語で強みを示した一方、日本語では特に突出したスコアは出なかった

LegalOn Technologiesは、活用場面や業務プロセスに最も適したモデルを選定するために、引き続き比較検証を行ってまいります。

■ 株式会社LegalOn Technologiesについて（ URL：https://legalontech.jp/ ）

株式会社LegalOn Technologiesは、AI分野における高度な技術力と法律・契約の専門知識を兼ね備えたグローバルリーガルAIカンパニーです。2017年の設立当初から、AIを活用したリーガルAIサービスの開発に注力し、現在は、「LegalOn: World Leading Legal AI」を展開しています。グローバルでの有償導入社数は、2025年9月末時点で7,500社を突破しています。2025年1月から事業領域をコーポレート全体に拡大し、AIカウンセル「CorporateOn」の提供を開始しました。大規模言語モデル（LLM）やAIエージェントなどの最先端のAI技術を製品開発に取り入れ、多様な企業課題に応えるソリューションを通じてお客様のビジネスを支援します。

【株式会社LegalOn Technologies】

社名　　：株式会社LegalOn Technologies（リーガルオンテクノロジーズ）

設立　　：2017年4月

代表　　：代表取締役 執行役員・CEO　角田 望

事業内容：法務、コーポレート業務に関するAIサービスの企画・開発

所在地　：〒150-6219 東京都渋谷区桜丘町1-1 渋谷サクラステージSHIBUYAタワー19F

資本金等：198.5億円（資本準備金等含）