FRONTEO、人の作業品質に対する、AIによる評価指標を開発

不正調査や訴訟支援における文書レビュー機能に、独自開発のAIによる評価指標を搭載

 　株式会社FRONTEO（本社：東京都港区、代表取締役社長：守本 正宏、以下 FRONTEO）は、自社開発したAIエンジン「KIBIT（読み：キビット）」を搭載したAIレビューツール「KIBIT Automator」に実装する、レビュアーの業務品質の定量評価に役立つ新たな指標の開発に成功しました。この指標は、業務品質をAIにより数値で自動測定し、業務品質の向上に効果的な管理や施策を行うことを可能にするものです.

　企業が管理するデータ量は年々増加の一途をたどっており、デジタルフォレンジック（デジタルデバイスに記録された情報を対象とする情報保全・分析調査）においては、証拠保持者（カストディアン）1人当たり数TBに及ぶこともあるデータを収集し、膨大な文書の中から限られた期間内で証拠に関連する文書を発見しなければなりません。調査に関わる弁護士にとって、時間、費用、調査品質が大きな課題となります。その中でも、関連情報を発見するプロセスである文書レビューは、時間と費用の7割を占めると言われ、AIの活用が欠かせません。KIBIT Automatorは、リーガルテック領域において既に米国や日本で運用が進んでおり、弁護士の判断を学習した高性能AIエンジンKIBITが、証拠に関連のある文書と関連のない文書を分類することにより、人によるレビューが必要な文書量を大幅に削減し、時間や費用の圧縮を実現しています。

　このたび、FRONTEOは人によるレビュー品質の向上に焦点を当て、レビュアーの業務品質を適切に数値で管理することが重要との認識のもと、評価指標の開発に取り組みました。この評価は、従来、Overturn Rateという担当した文書数のうち再レビューにより文書分類にミスのあったことが判明した文書数の割合を用いて行われてきました。しかし、この方式では、例えば担当した文書数以外の条件（文書の種類・難易度・証拠に関連のある文書が含まれている率）が同じ環境下において、20文書のうち5文書にミスがあった場合と200文書のうち50文書にミスがあった場合では、後者の方が高い信頼度でミスが多いと判断されるべきですが、どちらにおいても同じ25%という数字に評価される等の問題がありました。そこで、FRONTEOは、文書レビューのオペレーションにおける計測可能な数値群を統計学的に扱い、Quality Control（以下、QC）と呼ばれる文書レビューの品質チェックを受けた文書数に対するミス文書数の割合に修正することにより、上記の問題を解決し新たな評価指標を生み出しました。この評価指標を独自開発のAIで自動算出することにより、文書レビューにおけるレビュアーのレビュー品質を、より正しく評価することができるようになりました。

　上記の例において、新方式では、後者の方が前者より3倍問題視されます。しかし、50文書ものミスの原因がQC文書数の多さによるものであれば、3倍より小さい値に自動で補正されます。この結果、例えば、QCを行う正確な（Overturn Rateの低い）QCレビュアーや正確さに問題のある（Overturn Rateの高い）注意対象レビュアー等、文書レビュー品質の管理と向上において重要なレビュアーの候補を、より正しく選定することができます。

　図１は、FRONTEOのテストデータを用い、実際に従来方式と新方式により算出したOverturn Rateを比較したものです。新方式は従来方式よりも適正にQCレビュアーや注意対象レビュアーを解析的かつ自動的に選定できることが明らかとなりました。このように、より統計学的に根拠のある数値指標を用いることによって、AIがレビュアーの適切な選定や評価を解析的に支援し、レビュアーの管理とレビュー品質の向上をさらに推進することができます。

図１．従来方式と新方式で算出したOverturn Rateの比較（FRONTEOのテストデータを使用）。グラフの囲み部分は、2つの方式間で、Quality Control (QC)担当者として選抜される品質が高いと思われるレビュアーと、注意対象の候補となる品質の低い（ミスの多い）レビュアーが変わる例を示しています。
 
　FRONTEOは、日本におけるデジタルフォレンジックとディスカバリ（米国の民事訴訟制度における証拠開示手続き）のパイオニアとして、今後も不正調査や訴訟支援の効率化に役立つソリューションの開発、改良に努めてまいります。


■KIBIT Automatorについて URL: https://legal.fronteo.com/products/kibit-automator/
「KIBIT Automator」は、米国民事訴訟の公判手続きで必要となる証拠開示（ディスカバリ）の中でも特に、電子証拠開示（eディスカバリ）における文書レビュー作業の効率向上、作業担当者の負荷軽減、費用削減を目的として開発されたAIツールで、2019年3月にリリースされました。ディスカバリで使われる調査手法を応用し、AIを活用して証拠資料である大容量の電子メールや電子ファイルの審査・分析を行います。近年、日本国内の第三者委員会調査でもデジタルフォレンジック調査の重要なプロセスの一つとして活用され、企業に求められている、短期での情報開示への対応も期待されます。

■KIBITについて　URL: https://www.fronteo.com/products/kibit/
「KIBIT」は、専門家や業務熟練者が備える“暗黙知”を再現する独自の機械学習アルゴリズムを用い、キーワードに頼らずテキストを解析する人工知能です。少量の教師データで短時間での高精度な解析が可能です。

■FRONTEOについて　URL: https://www.fronteo.com/
FRONTEOは、自然言語処理に特化した自社開発AIエンジン「KIBIT（読み：キビット）」と「Concept Encoder（商標：conceptencorder、読み：コンセプトエンコーダー）」、「Looca Cross(読み：ルーカクロス)」を用いて膨大な量のテキストデータの中から意味のある重要な情報を抽出し、企業のビジネスを支援する、データ解析企業です。2003年8月の創業以来、企業の国際訴訟を支援する「eディスカバリ（電子証拠開示）」や「デジタルフォレンジック調査」などのリーガルテック事業をメインに、日本、米国、韓国、台湾とグローバルに事業を展開してきました。同事業で培ったAI技術をもとに、2014年よりライフサイエンス分野、ビジネスインテリジェンス分野、経済安全保障へと事業のフィールドを拡大し、AIを用いて「テキストデータを知見に変える」ことで、創薬支援、認知症診断支援、金融・人事・営業支援など、様々な企業の課題解決に貢献しています。2007年6月26日東証マザーズ（現：東証グロース）上場。2021年1月第一種医療機器製造販売業許可を取得（許可番号：13B1X10350）、同9月管理医療機器販売業を届出（届出番号：3港み生機器第120号）。資本金3,034,846千円（2022年3月31日現在）。

※FRONTEO、KIBIT、KIBIT Automator、conceptencorder、Looca CrossはFRONTEOの日本における登録商標です。