◆瞳だけで傾聴するコミュニケーションロボット◆関西大学総合情報学部瀬島吉裕研究室が日本科学未来館でロボットを常設展示

～会話の熱量をシミュレーション熱量に応じた共感する仕組みを生成～

関西大学

2023年11月24日 11時28分

　関西大学総合情報学部の瀬島吉裕准教授の研究グループは、コミュニケーション時の音声や振る舞いから、会話の熱量を推定するモデルを実装した傾聴コミュニケーションロボットを開発しました。このロボットは、実空間での発話や振る舞いを仮想的な温度情報として変換し、会話の熱量を推定することで傾聴態度を制御します。このロボットは日本科学未来館において2023年11月22日から常設展示されています。

【本件のポイント】

・コミュニケーション時の音声や振る舞いから、会話の熱量を推定

・熱量に応じた傾聴態度や共感態度を生成

・集団コミュニケーションの雰囲気推定への応用に期待

■ 研究背景

　近年、認知症や孤独化といったコミュニケーションの在り方が問題になっています。そのためソーシャルロボット（コミュニケーションロボット）の活用が期待されており、日常的な会話を通じてロボットが人間と関係構築する仕組みが求められています。すなわち、会話を成立させる言語機能と、感情を豊かにする非言語機能が求められています。言語機能は、ChatGPTに代表される大規模言語モデルにより、人間らしい会話が可能となったものの、非言語機能においては未だ不十分です。そのため、会話への興味や発話を促す相槌のような、聞き上手ともいえる非言語による人間らしい振る舞いを生成・表現するAI技術が求められています。

　研究者はこれまでに、人間の興味と密接に関連する眼球内部の瞳孔に着目し、会話における人の瞳孔を解析した結果、話し手の瞳孔は感情の強さに応じて拡大することを明らかにしました。さらに、話し手の瞳孔反応を模擬する瞳孔反応ロボットPupiloid（ピューピロイド）を世界に先駆けて開発してきました。このロボットを用いて会話への満足度を高めるには、話し方や会話のリズム、盛り上がりといった、話し手の期待に沿った振る舞いを設計する必要がありました。

■ 研究成果

　本研究では、会話時の音声入力や振る舞いから、会話の熱量を推定するモデルを開発しました。この推定モデルは、人間が共通的な感覚として理解しやすい温度に着目しています。例えば、「白熱した議論」、「熱心に聞く」、「熱気に満ちている」といった比喩があるように、人間は共通的な温度感覚によって、他者の感情状態や場の様相を把握しています。本研究では、この比喩として利用される温度情報を、実空間における音声やうなずきといった振る舞いを入力として変換しています。とくに、発話やうなずきといった熱生産が行われることで、場との温度差が生まれ、場へ熱量が移動します。この流れ込んだ熱量を場の温度とすることで、会話の熱量を推定することができます（図1）。

図1　仮想的な温度空間

　この推定モデルを瞳だけでコミュニケーションができるロボットPupiloid（ピューピロイド）へ導入しました。具体的には、会話の熱量が高くない状態のときは、ロボットは視線を逸らす等の態度を生成しますが、会話へ熱が入ったときには、アイコンタクトを取りながら積極的な傾聴を行います（図2）。とくに、音声入力のリズムを解析して、うなずき動作や相槌を生成するだけでなく、瞳孔を1.5倍程度に拡大して、あたかも会話に興味があるような傾聴態度を生成します。この積極的な傾聴態度により、話し手は思わず話し続けてしまい、会話へ惹きつけられるような感覚が得られます。

図2　会話の熱量に基づく傾聴態度の設計

　Pipiloidは最先端のロボット技術の一つとして、日本科学未来館の常設展示「ハロー！ロボット」の展示物として取り上げられており、展示期間は2023年11月22日からです。この展示では、Pipiloidとの対話ができるので、コミュニケーションの不思議さや、傾聴態度の嬉しさを体験してもらいたいと思います。

■ 実社会への応用（今後への期待）

　認知症や孤独化を予防する観点から、高齢者だけでなく、独居している人が地域コミュニティへつながる仕組みとして、発話行為を促進させることができると期待されます。ストレスを抱えるのではなく、言語化して外部へ放出することがストレス緩和に良い影響がある以上、コミュニケーションがもたらす心理的効果を最大限に活用する仕組みとして、介護福祉や接客業、教育・エンタテインメント等への幅広い応用展開が期待されます。