リクルートと東北大学医工学研究科が共同研究結果を発表 リザバーコンピューティングAI×ネイルコンダクターの活用で、自分の手がコントローラーに

「指先の動きで演奏する」イメージ動画も同時公開将来的には、メタバース向けの仮想／拡張空間内コントローラーとしての活用も

株式会社リクルート（本社：東京都千代田区、代表取締役社長：北村 吉弘、以下リクルート）の研究開発機関であるアドバンスドテクノロジーラボ（以下ATL）は東北大学大学院医工学研究科（宮城県仙台市　以下　東北大学）との共同研究「リザバーコンピューティングAIとネイルコンダクターを連携した活用に関する取り組み」を2021年12月より開始。人工知能（AI）と爪に装着するデバイスであるネイルコンダクターとの連携により、バイタル情報を活用した新たな入力インターフェースを研究。自身の手をデバイスや家電製品のコントローラーにするなど、複数の活用方法が見いだされる結果となりました。また、本技術を応用して実現可能な「鼓動で奏でるシンフォニー」イメージ動画を、ATLのYouTubeにて公開しています。

 

研究の背景
スマートフォンをはじめ、生活を豊かにするデバイスを携行することが日常となった現在において、より生活者の「便利」や「豊かさ」を生み出すことを目的とし、AIやソフトウェアの開発に強みを持つリクルートのATLと、マイクロデバイスや半導体集積回路の開発に強みを持つ東北大学との共同研究開発がスタートしました。


研究の概要
【研究目的】
生活者にとって便利で、豊かさをもたらすデバイスを開発し、提供すること。また、モバイル端末、IoTやメタバース分野などにも利用可能な操作支援技術を目指すこと。

【研究内容】
リザバーコンピューティングAIの開発をリクルートのATLが、ネイルコンダクターの開発を東北大学が行いました。
リザバーコンピューティングとネイルコンダクターの連携概要は以下の通りです。
① ネイルコンダクターから得られた血流情報を活用し、リザバーコンピューティングで学習させ、モデルを生成。
② 生成したモデルを利用すると、指の所作・ジェスチャーを検知し、デバイスに触らなくても操作が可能。

【リザバーコンピューティングとは】
AIの高速学習・高速実行を実現したニューラルネットワーク。高速にリアルタイム学習と推論を行うことができる特長も持つ。このAIモデルはコンパクトかつ省電力で実行可能であるため、エッジデバイスやIoT機器などのロースペックなデバイスやスマートフォンでも利用しやすい。

【ネイルコンダクターとは】
爪に装着して指先の血流情報を測定するデバイス。この血流情報をリザバーコンピューティングAIに学習させることで、指のいろいろな動きや状態を正確に認識することができる。現在は有線のネイルコンダクターを開発済みで、Bluetooth接続のワイヤレスネイルコンダクターを開発中（2023年頃完成見込み）。

【研究成果】
ネイルコンダクターが取得した指先の血流情報を用い、指の状態を判定する研究用アプリケーション上で、Recall（再現率）100%とPrecision（適合率）94.11%の精度を達成しました。
指の状態を判定することで、現在は「段ボールで簡易的に作製した非ITデバイスをコントローラーにしてゲームで遊ぶ」「何もない空間上で指を動かすだけで入力操作が可能」などができるようになっています。

【イメージ動画】
現在、実現可能な技術を用いた「指先の動きで演奏する」イメージ動画を、ATLのYouTubeで公開中です。

 

https://youtu.be/9w7WAZ2uGnI


今後の展望
今後はさらに本技術の活用の幅を広げて、ビジネスでの活用に加え、社会課題の解決を図る構想もあります。
例えば、「VR空間内で物をつかむ、操作する、キー入力の操作支援を行う」、「暗所で手話通訳や文字認識をすることで、コミュニケーションの可能性を広げる」、「遠隔手術に活用することで、医師不足や医療格差の問題に貢献する」「メタバース向けの仮想／拡張空間内コントローラーとしての利用」など、複数の用途が考えられています。
またリザバーコンピューティング技術単体でも、指先の血流情報以外にも脳波、血圧、脈拍などの情報を学習させることで、効果的な行動支援や事故防止、より高度な健康管理に役立てるなどの用途も考えられます。


担当者コメント
株式会社リクルート　アドバンスドテクノロジーラボ所属
塩澤 繁 コメント（リザバーコンピューティング開発担当）
現時点ではリザバーコンピューティングの基礎技術を研究していますが、将来的に、大きな可能性を持つ技術であり、多くの場面で応用可能な技術だと考えています。特にメタバース分野、IoT分野との相性が良く、ビジネスシーンで利用可能な技術開発を進めていく予定です。

東北大学　医工学研究科
田中 徹　教授 コメント（ネイルコンダクター開発担当）
ネイルコンダクターは指の動きや状態により生じる指先の血流変化を光学的に計測するデバイスで、専用の計測回路チップとLEDなどの部品をフレキシブル基板に実装し、爪の表面に装着して使用します。爪に装着することによって汗や皮脂の影響を受けず、長時間装着することができます。将来的には、あらゆる指の動きの認識と利活用、バイタルサインの計測によるヘルスケアや診断・治療への貢献が期待できます。


東北大学及び医工学研究科の概要
東北大学は1907年（明治40年）に東北帝国大学として創立されました。建学以来の伝統である「研究第一主義」と「門戸開放」の理念を掲げ、真理の探究などを目指す基礎科学を推進するとともに、研究中心大学として人類と社会の発展に貢献するため、人間・社会、および自然に関する広範な分野の研究を行っています。また、「実学尊重」の精神を生かした新たな知識・技術・価値の創造に努め、常に世界最高水準の研究成果を創出し、広く国内外に発信しています。医工学研究科は我が国初の医工学研究科として2008年（平成20年）に誕生しました。工学の知識や技術を駆使して生命の不思議に迫り、医学・医療の革新を通して人類の社会福祉に貢献することを使命としています。
東北大学：https://www.tohoku.ac.jp/
医工学研究科：https://www.bme.tohoku.ac.jp/


▼リクルートについて
https://www.recruit.co.jp/

▼本件に関するお問い合わせ先
https://www.recruit.co.jp/support/form/