生成AIの嘘や間違いを検知する「分析機能」を発表!AI開発のPDCAを強力にサポートする機能群を提供へ
会話型AI構築プラットフォームmiiboは、AIの応答精度や問題の解決度合いをAIに分析させる機能のベータ版を発表。先行利用ユーザーを募集を開始します。
発表の概要
生成AI導入の大きなハードルである「ハルシネーション」や言い間違えを検知し、改善を行うことができる新機能(ベータ版)をmiiboがリリースしました。AIが行った応答を分析し、アドバイスと共に「信頼度」と「解決予測度」を示します。
実際の動作の様子は、下記の動画をご覧ください。
会話型AI構築プラットフォーム miibo
株式会社miiboが手掛ける会話型AI構築プラットフォームmiiboは、
-
手軽にまずはAIを作ってみたいビギナー
-
本格的にAIを組み込んだプロダクトを開発するデベロッパー
この両者にアプローチできる会話型AI構築プラットフォームです。miiboはこの2つの面を兼ね備えた、国内および海外でも独自のポジションを有する会話型AI構築プラットフォームです。
【miiboで作ったAIのユースケース例】
・カスタマーサポート24時間自動応答AI
・社内ヘルプデスク応答用AI
・AIキャラクターの開発
・芸能人・アーティストの会話型AIの開発
・AIアシスタントの開発
・AIライターの開発
上記を含む様々な用途に活用可能な会話型AIがmiibo上で日々生み出されており、上場企業や地方自治体などでも導入が進んでいます。
公式サイト:
参考資料:【利用事例マガジン】miiboで作る会話型AI (note)
https://note.com/miibo/m/ma82aceda74a8
生成AIの課題「ハルシネーション」を軽減するアプローチ
LLMを活用したチャットボットの導入も増えています。しかし、一部では生成AIの「ハルシネーション」をはじめとした課題がネックになり、導入を躊躇するケースも多く存在します。
※「AIのハルシネーション」= 、AIが虚偽の情報をもっともらしい形で出力してしまう現象
そこでmiiboは、開発したAIの発言を客観的な視点で評価・分析する「AI分析」機能をリリースします。
AI分析機能のイメージ
AI分析機能では、AIの発言について下記の3つの項目が得られます。
-
信頼度
-
解決予測
-
アドバイス
信頼度
AIが行った発言がどれくらい信頼できるものかを判定します。miiboはあらかじめAIに専門知識を与えておき、その領域について会話ができるAIを構築できます。与えた専門知識と比較し、余計な事実をでっちあげていないか、不正確なことを言ってしまっていないかを分析して算出します。つまり、ハルシネーションが起きていないかを確認できます。
下記は、擬似的にわざとmiiboの公式ツイッターアカウントの名前を間違わせてみたテストです。Twitterアカウントの誤りを指摘し、今後の改善案を提示してくれています。
解決予測
ユーザーはAIとの会話によって課題を解決できたのかを予測します。情報の正確さだけではなく、AIがユーザーに寄り添ったサービスを提供できたかを判断する材料となります。
例えば下記の例は、情報は信頼できるものの、情報が不足していることでユーザーに十分な価値を提供できていないことをAIが示唆しています。ハルシネーション対策以上の改善へ繋げることが可能です。
アドバイス
AIの応答をどのように改善するとより良いか、AIが客観的な視点で分析します。
ユーザーの解決状況を知ることで、さらなる改善へ繋げる
例えば、カスタマーサポートのチャットボットなどでは、ユーザーが実際に問題を解決したかどうかを分析することが重要です。
そこで、多くのチャットボットでは、「解決した」「参考になった」等のボタンを設置しています。
一方で、多くのユーザーは「解決した」「解決しなかった」を押しません。
質問に対する情報のリンクが提示されれば、別の画面にすぐさま遷移し、解決すれば戻ってこないでしょう。よって、解決した場合も、フィードバックとして返ってくるのは、一部の親切なユーザーのみに限られてしまいます。
上述のAI分析による「解決予測」は、まさにその計測に役立ちます。
AIの応答によって、ユーザーは果たしてどれくらい解決を果たすことができたのかを予測させることにより、ユーザーの能動的なフィードバックでは得られないインサイトを獲得することができます。
これらの予測の精度については、弊社の実験段階においては非常に高い結果が得られています。この度のベータ版公開にて、より多くのユーザーの皆様からフィードバックをいただき改善することで、今後の一般公開を目指しています。
先行利用ユーザーを募集へ
miiboは、本日より上記「AI分析機能(ベータ版)」の先行利用ユーザーを募集します。
下記の条件を満たすmiiboのアカウントをお持ちのユーザーの皆さまはご応募いただけます。
【応募条件】
・miiboのアカウントをお持ちの方
・エンタープライズプラン / プレミアムプランをご契約中の法人様
・利用後、Aユーザーインタビューご協力いただける法人様
・精度の検証にご協力いただける法人様
ご応募いただいた方の中から、数社へ本機能の先行提供をさせていただきます。
応募状況次第では、全ての法人様にご提供できない可能性がございます。予めご了承ください。
【提供内容】
・1ヶ月間、miiboのアカウントへAI分析機能を開放 (プラス料金は不要)
【応募方法】
ご利用を希望の法人様は、下記のフォームからご応募ください。
このプレスリリースには、メディア関係者向けの情報があります
メディアユーザー登録を行うと、企業担当者の連絡先や、イベント・記者会見の情報など様々な特記情報を閲覧できます。※内容はプレスリリースにより異なります。
すべての画像
- 種類
- 商品サービス
- ビジネスカテゴリ
- ネットサービスシステム・Webサイト・アプリ開発
- 関連リンク
- https://miibo.jp
- ダウンロード