大規模言語モデルの“誤抽出”を見極める新評価手法を発表　～商談音声からの正確な情報抽出に挑むブリングアウトが、自然言語処理学会で成果を公開～

LLM活用を加速する「偽針混入テスト」を導入し、対話解析の精度を向上。より精度が求められる現場への導入を加速化

株式会社ブリングアウト

2025年3月26日 12時31分

商談・会議音声の自動書き起こし・要約プラットフォームを提供する株式会社ブリングアウト(以下、ブリングアウト / 本社：東京都中央区 / 代表取締役社長：中野慧)、2025年3月10日から開催された言語処理学会第31回年次大会 (NLP2025)にて、大規模言語モデル（LLM）の誤抽出を可視化する新評価手法「LLM 偽針混入テスト：誤抽出を考慮した情報抽出時の評価フレームワーク」を発表いたしました。本研究は、従来の評価基準では見落とされがちな誤情報抽出リスクを測定するアプローチを提案し、LLMの信頼性向上と実ビジネスへの安全な導入を同時に促進するものです。

今後ブリングアウトでは、学会発表による牽引性向上と採用活動の強化を図るとともに、情報収集や業界貢献を通じて、LLMを活用した業務効率化と社会課題の解決に寄与してまいります。

■ 背景・課題

誤抽出・誤情報への懸念

大規模言語モデル（LLM）の普及が進む一方、AIが誤った情報を生成・抽出する“ハルシネーション”問題が依然として大きな課題となっております。特に商談や会議記録のような実ビジネスデータにおいては、一つの誤抽出が意思決定や顧客対応に大きな影響を与える可能性があります。

“偽針混入テスト”の必要性

従来の評価手法では評価しきれなかった不正確な抽出を可視化するため、ブリングアウトは偽針（Fake Needle）をデータに混入し、どの程度モデルが誤認識するかを測定する新手法を開発いたしました。これにより、より厳密なLLM性能評価が可能となり、業務実運用への安全性を担保できるようになります。

■ 研究内容・成果

提案アプローチ

実応用タスクにおける文脈情報の精密評価：偽針を組み込むことで誤抽出率を計測し、LLMの過度な推測や不正確な生成を見抜きます。
商談音声データでの検証：企業の営業現場などで実際に起こりうるケースをシミュレーションし、モデルの信頼性を検証します。

期待されるインパクト

LLMの信頼性向上：誤抽出リスクを把握しやすくなるため、ビジネス上の判断精度が高まります。
業務効率化・DX推進：本研究の評価手法を用いることで、LLMがどのような条件で誤抽出を起こしやすいかを定量的に把握できます。これにより、プロンプトの最適化や追加のフィルタリング処理など、誤情報を削減する具体的な施策を講じやすくなります。たとえば営業現場やコールセンターでの要約業務において、あらかじめ誤抽出しやすいパターンを把握しておけば、不要なトラブル対応や手戻りを大幅に減らすことが可能です。結果として、正確な会議要約・顧客対応につながり、企業の生産性や顧客満足度の向上に寄与します。
社会課題の解決：誤情報拡散の防止や人手不足対応を後押しし、公共領域（医療・行政・教育など）にも応用可能です。

■ 社会性・公益性

社会的課題と結びつけた研究開発

LLMによる誤抽出の対策は、企業や公共機関だけでなく、社会全体の情報リテラシー向上にも大きく寄与すると考えております。ブリングアウトでは、技術革新を通じた“安全なAI導入”の実現を軸に、あらゆる業種・業態での誤情報拡散リスクを低減し、ユーザー・消費者の負担を軽減してまいります。
また、人手不足が深刻化する現代社会においては、AIが行う自動化の仕組みが業務の効率化とサービス品質の向上を後押しする手段となり得ます。当社は、こうした社会的課題の解決を見据えながら、より多くの組織がAIを安心して導入できる土台を整備いたします。

研究開発型企業としてのブリングアウト

ブリングアウトは、単なるサービス提供企業の枠に留まらず、学術コミュニティとの研究や成果公開を通じて業界全体の発展に貢献したいと考えています。社会課題の解決と技術的先進性を同時に追求することで、日本のビジネスを加速推進し、“信頼できるパートナー”としてお客様とともに歩んでまいります。
今後も、技術面はもちろんのこと、倫理面・ガバナンス面にも十分配慮し、透明性の高い研究開発体制を築くことで、持続可能な社会の形成に一層貢献したいと考えております。

■ 今後の展望

研究開発・業界貢献の継続

他業種の企業や大学・研究機関との情報交換をするなど、LLM評価手法の汎用化と機能拡張を積極的に進めてまいります。社会におけるニーズの多様化や、各産業分野でのデータ活用拡大に合わせて、ビジネスシーンの対話データだけでなく、適用範囲を着実に拡大する見通しです。
将来的には、幅広い業界にも適用可能な、より安全かつ高精度なAI活用プラットフォームを目指し、産学連携も視野に入れてまいります。当社はこれからも、社会課題の解決に寄与する研究開発型企業としての道を進みながら、パートナー企業やコミュニティと共に、日本発のイノベーションを世界へ広げていきたいと考えております。