雑音環境での音声感情認識技術を開発

～こころに寄り添うカーインフォテイメントの実現に向けて～

株式会社Ｅｍｐａｔｈ（以下Ｅｍｐａｔｈ）と株式会社ＮＴＴドコモ（以下ドコモ）は、雑音環境での音声感情認識技術（以下、本技術）を２０１８年３月に共同で開発いたしました。
２０１８年度に本技術をＡＩインフォテイメントサービス*１に導入することをめざします。

本技術は、ＮＴＴグループのＡＩ「ｃｏｒｅｖｏ®」*2を構成するドコモ独自の音声感情認識技術とＥｍｐａｔｈの音声感情解析ＡＩ「Ｅｍｐａｔｈ」の技術をもとに開発しました。本技術を用いて自動車とドライバーを感情によって結びつけることで、ドライバーが自動車に愛着をもって楽しく運転したり、運転に集中して居眠り運転の解消などに貢献できると考えています。２０１７年１１月から２０１８年３月までの間、ドコモとＥｍｐａｔｈは、走行雑音がある環境で音声による感情推定の認識率向上の取り組みを行いました。その結果、停車中のような雑音が小さい条件から高速道走行中のように大きな走行雑音がある条件において、自然に発声された対話音声*3の「怒り」「喜び」「悲しみ」の感情の認識を従来６０％程度*4のところ、業界で最高水準の高い平均正答率*5となる７５%で実現しました。

また、ＡＩが感情を理解して感情にあわせた声かけを行うことで、ドライバーの眠気やだるさなどの倦怠感を表す指標値が５０％減少し、被験者の９３％はＡＩが自分の気持ちに寄り添ってくれていると感じて、気分良く運転できることを実証実験にて確認いたしました。

 これにより、安心・安全な運転に貢献し、自動車に愛着が生まれるような新たなサービスの創出に取り組んでまいります。

 なお、音声による感情認識技術を活用したＡＩインフォテイメントサービスのコンセプトは、２０１８年５月９日（水）から１１日（金）まで東京ビッグサイトで開催される「２０１８ Ｊａｐａｎ ＩＴ Ｗｅｅｋ」内「ＩｏＴ/Ｍ２Ｍ展」の会場内ドコモブースのＡＩインフォテイメントコーナーで、デモをご覧いただける予定です。

 *1ドコモが提供する自動車向けの音声エージェントサービス。
*2「ｃｏｒｅｖｏ」は、日本電信電話株式会社の登録商標です。（http://www.ntt.co.jp/corevo/）
*3発話者が特定の感情の音声を意図的に発声しようとせずに自然に発声された音声。
*4ドコモの調べに基づく。
*5ある感情の音声に対してその感情の音声であると正しく認識できる確率。


開発技術の概要

 １．  技術概要
認識対象の音声に対して声の高さや音色などの音響的な特徴を分析し、あらかじめ機械学習で生成しておいた感情認識モデルを用いて、音響的な特徴からどの感情の音声であるかを推定します。走行時の自動車のエンジン音等の特徴を取り入れた認識モデルの生成技術により、停車中を想定した雑音が小さいSNR(Signal to Noise Ratio:信号対雑音比)が１５dB以上の条件から、高速道路走行中を想定した雑音が大きいSNRが0dBの条件において、「怒り」「喜び」「悲しみ」の３感情の平均正答率７５％を実現しました。
 

図：音声感情認識のしくみ

２．各社の役割
<Ｅｍｐａｔｈ>
入力された音声に感情が込められているかを判定し、明確に感情が表れている音声を正しく認識して誤認識を抑える技術の提案。

 <ドコモ>
雑音が小さい環境(停車時)から大きい環境（高速道走行時）の条件で、自然に発声された音声の感情を正しく認識する技術の提案。
両社提案技術を組み合わせる方法の考案。


実証実験の概要
●実施者：ドコモ、Ｅｍｐａｔｈ社
●実験日程：２０１８年２月１０日～３月２７日
●被験者数：６０名 (男性３０名、女性３０名、平均年齢：４１歳)
●目的：感情を考慮したＡＩの発話による利用者の感情状態に対する影響の検証
●実験詳細：
・乗車時の環境を模したシミュレータに音声エージェントアプリを設置し、被験者の感情状態に合わせて適切な対話スクリプトを用意し、アプリによる介入前後での感情状態の変化を計測。
・対話スクリプトは精神科医、臨床心理士等の監修のもと、ポジティブ心理学や認知行動療法のメソッドを用いて気分を快にするスクリプトを作成。・感情状態の変化の計測には、妥当性検証済の心理尺度アンケート等を利用し、効果を測定。
 

図：カーシミュレータにて被験者がアプリを操作


●実験結果：
・本実験により感情を考慮した音声エージェントアプリによる介入によって、被験者に対していくつかの感情の変化を起こすことに成功。
・一例として、感情を考慮したアプリの介入により、感情・覚醒の度合いを示すアラウザルチェックの眠気や倦怠感を示す値が有意に低下。感情を考慮しないアプリの場合では眠気や倦怠感は有意に変化しなかった。
・感情を考慮したアプリの介入によって気分がよくなり、倦怠感が低下しドライバーが覚醒したと
考えられる。
・その他にも楽しい気分の持続や悲しい気分の低下を確認。
 

【参考】
<会社情報>
 

会社名
株式会社ＮＴＴドコモ

代表者
代表取締役 社長 吉澤 和弘

所在地
東京都千代田区永田町２－１１－１ 山王パークタワー

資本金
９，４９６億７，９５０万円（２０１７年３月３１日時点）

営業開始
１９９２年７月１日

従業員数
７，６０９名（当社グループ２６，７３４名）（２０１７年３月３１日時点）

事業内容
・モバイル通信事業
・スマートライフ事業
******************************************************
会社名
株式会社Ｅｍｐａｔｈ

代表者
代表取締役　下地　貴明

所在地
東京都渋谷区神宮前6丁目18-13 神宮前浅間ビル7F

営業開始
２０１７年１０月３１日

事業内容
音声感情解析ＡＩ「Ｅｍｐａｔｈ」の開発および販売