操作者が“憑依”できるアンドロイドアバターを開発　　　　　　　　　　　　　　　　　（電気通信大学・東京電機大学）

―視聴覚の共有による臨場感と操作者の表情再現による存在感を両立―

国立大学法人電気通信大学
学校法人東京電機大学

【ポイント】
＊生命感のある遠隔操作型アンドロイドの頭部ユニットと没入型の操作インタフェースを開発
＊操作者の多様な表情をアンドロイドの表情として再現し、操作者の存在感・感情を伝達
＊カメラ・マイクで取得した立体映像・音響をVRヘッドセットで視聴することで高臨場感を得られる
＊操作者が得る臨場感と対面者が得る操作者の存在感の両立による、対面のような遠隔コミュニケーションの実現に期待

【概要】
電気通信大学大学院情報理工学研究科機械知能システム学専攻の仲田佳弘准教授と、東京電機大学未来科学部ロボット・メカトロニクス学科の中島瑞助教（開発当時電気通信大学同専攻特任助教）、電気通信大学大学院情報理工学研究科機械知能システム学専攻博士前期課程1年の新川馨子氏の研究グループは、操作者の視線、発話に伴う口の動きや表情を再現可能な遠隔操作型アンドロイド（アンドロイドアバター（※1））の頭部ユニットとその操作インタフェースを開発し、アバターを介していても、まるでその場に相手がいるかのような遠隔コミュニケーションを実現しました。
これまでにもアバターを用いた遠隔コミュニケーションは研究されてきましたが、操作者の表情を再現すると同時に操作者に高い臨場感を提供することができるシステムは実現されていませんでした。
研究グループは、首の運動を含めて頭部の28か所が変形・動作可能なアンドロイドアバター「Yui（※2）」の頭部ユニットを開発しました。また、装着者の表情を測定可能なVRヘッドセットを用いて、操作者の表情をアバター上に再現するとともに、アバター上の複数のカメラとマイクで取得した映像と音声を操作者に提示することで高い臨場感を得られるようにする操作インタフェースを開発しました。開発したアバターとインタフェースは簡易的な実験およびデモンストレーションを通じてその効果が確認されました。
この成果は、米国電気電子学会（IEEE）のオープンアクセス誌IEEE Accessに掲載されました。

【背景】
従来、遠隔操作型ロボットは、主に操作者の操作性や利便性に焦点を当てて研究されてきました。遠隔地でのタスク実現のため、快適な視覚情報の提供や繊細な操作のための触覚のフィードバックといった、操作者側の体験を高めるための研究が行われています。一方で、人に近い見た目を持つロボットであるアンドロイドが開発されてきました。人に近い見た目を利用して人に近い表情やふるまいを再現することで、人との円滑なコミュニケーションの実現を目指した研究が行われています。
これらの従来研究では、操作者もしくはアンドロイドの対面者のどちらか一方の体験（操作者の感じる臨場感もしくはアンドロイドに感じる人の存在感）を重視して研究されており、双方の体験を同時に向上させるシステムの開発や遠隔コミュニケーションに関する深い議論はなされていませんでした。

【手法】
本研究では、人に近い見た目を持ち、首の運動を含めて頭部の28か所が変形・動作可能なアンドロイドアバター「Yui」（図1）を開発しました。Yuiは、その豊富な頭部の変形・動作によって、人のような喜怒哀楽の表情を実現します。また、Yuiの両目、両耳には感覚器としてステレオカメラとステレオマイクが内蔵されており、Yuiがいる場所で見える映像、聞こえる音声を取得します。これらの視差を含む映像や空間の音響効果を含んだ音声は、VRヘッドセットを介して操作者に提示されます。VRヘッドセットには、映像表示用のディスプレイと音声提示用のスピーカーが搭載されています。操作者は、立体映像に加え立体音響を得ることができるため、実際に見えていなくてもどちらから呼びかけられたかということを音の情報から知ることができます。さらに、VRヘッドセットには、操作者の頭部の回転や目、眉や頬といった顔の部位の変化が取得可能なセンサと発話を取得するためのマイクも搭載されています。操作者の頭部の動きの情報をもとにYuiを動作させることで、操作者とYuiの表情を同期しています。マイクで取得された音声は、Yuiの胸部に埋め込まれたスピーカーから再生されるため、操作者と対面者の間でコミュニケーションが可能です。

図1（a）（b）（c）開発したアンドロイドアバター「Yui」：（a）はYui頭部の全体像とカメラ、マイクの詳細であり、（b）は喜怒哀楽を再現したときの様子、（c）はデモンストレーションでの会話中に操作者が笑った様子がYuiで再現された様子である。

【成果】
操作者の発話や表情をYuiと同期させながら、操作者に対して臨場感の高い映像や音声を提示することが可能なシステムが開発され、開発者による簡易な実験とデモンストレーションによる動作検証が実施されました。デモンストレーションでは、会話の合間にこぼした笑みや目元の動きがアバター上で再現されることで、アバターを介したコミュニケーションによって対面者が操作者の存在感を感じることが可能であると示唆されました。また、両目と両耳に搭載したステレオカメラ、ステレオマイクを利用することで、見ている対象との距離や相対的な位置関係といった立体情報、聞こえてくる音声の左右の偏りに伴う音源の位置情報が提示されました。これらの操作者への情報提示は、操作者に対してまるでその場に相手が居るかのような、高い臨場感を伴った体験を提供することができると期待されます。結果として、操作者が得る臨場感と対面者が得る操作者の存在感を両立するアバターシステムが実現されました。

【今後の期待】
開発したシステムを用いることで、ビデオ会議や音声通話と比較してより対面に近い形でのコミュニケーションが実現され、遠隔地からでも満足感の高いコミュニケーションが期待できるほか、細やかな気遣いや信頼が必要とされる診察や面談といったシーンへの応用も期待できます。さらに、操作者の表情の単純な再現ではなく強調や抑制といった様々な効果を付加することで、感情の伝達効果を高めたり、逆に弱めたりといった、付加的な効果を持たせたコミュニケーションの実現が期待できます。操作者の特性やシーンに合わせて感情の伝達特性を変化させることで、将来的には対面を超えるコミュニケーションの実現も可能であると考えています。

（参考動画）
https://youtu.be/UXuQ1RgxPdQ

（論文情報）
著者名：Mizuki Nakajima, Kaoruko Shinkawa, Yoshihiro Nakata
論文名：Development of the Lifelike Head Unit for a Humanoid Cybernetic Avatar ‘Yui’ and Its Operation Interface
雑誌名：IEEE Access
DOI：10.1109/ACCESS.2024.3365723
公表日：2024年2月13日（Early Access）

（外部資金情報）
本研究の一部は、JSTムーンショット型研究開発事業JPMJMS2011の支援を受けたものです。

（用語説明）
※１ アンドロイドアバター：外見が人に酷似した遠隔操作型ロボット。アンドロイドは、外見が人に酷似したロボット、アバターは、操作者の代理となる対象物である。研究プロジェクトでは、人型サイバネティック・アバターに分類される。サイバネティック・アバターは、身代わりとしてのロボットや3D映像等を示すアバターに加えて、人の身体的能力、認知能力及び知覚能力を拡張するICT技術やロボット技術を含む概念。

※２ Yui：ゆい。開発したアンドロイドアバターの名称。人と人を結び付ける存在となることを期待して名付けた。

【連絡先】
＜研究内容に関すること＞
電気通信大学大学院情報理工学研究科 機械知能システム学専攻
【職名】准教授
【氏名】仲田　佳弘
E-Mail：ynakata★uec.ac.jp

※ ★を@に置き換えて下さい

東京電機大学未来科学部 ロボット・メカトロニクス学科
【職名】助教
【氏名】中島　瑞
E-Mail：mizuki.nakajima★mail.dendai.ac.jp

※ ★を@に置き換えて下さい

＜報道に関すること＞
電気通信大学総務部総務企画課広報係
Tel：[phone]　　Fax：[phone]
E-Mail：kouhou-k★office.uec.ac.jp

※ ★を@に置き換えて下さい

東京電機大学総務部企画広報担当
Tel：[phone]
E-mail：keiei★jim.dendai.ac.jp

※ ★を@に置き換えて下さい