リアルな触覚再現技術による、技能教育システム、心拍数共有アプリを開発しました
体で感じる触覚の計測、編集、調整、再生が手軽に実現可能になります
NEDOが進める「人工知能活用による革新的リモート技術開発プロジェクト」（以下、本事業）において、国立研究開発法人産業技術総合研究所（以下、産総研）、国立大学法人東北大学、国立大学法人筑波大学、株式会社Adansonsは、2024年3月に発表した極薄ハプティックMEMSによる触覚デバイスと触覚信号編集技術を組み合わせることで、指先で触れる触覚情報を手首で計測して他者に伝えることを可能とする双方向リモート触覚伝達システムを開発しました。これを基盤とした実用例としてAR技能教育システムと心拍数共有アプリと、その性能を向上する技術を開発しました。
開発にあたり各者の役割は以下となります。
（1）リアルな触覚を再現するAR技能教育システムの開発（東北大学）
（2）疑似心拍振動による社会交流促進の実証と心拍数共有アプリの開発（筑波大学）
（3）皮膚内部の歪み（ひずみ）を可視化する独自の触覚デバイス設計・評価技術の開発（産総研）
（4）自然言語を活用した人間とAIが双方向に“ネゴシエーション”する触覚信号分離／編集ソフトウェアを開発（Adansons）
今後、産総研、東北大学、Adansons、筑波大学は、本事業の成果を活用し、ものづくりで利用する技能体感教育システムの開発や、心拍数共有アプリのさらなる性能向上、および、汎用（はんよう）信号処理ソフトウェアの提供を進めます。これにより、これまで世代を超えて伝承が困難であった触覚を手軽に記録して共有できる社会の実現を目指します｡
1．背景
ものづくりの分野では、少子高齢化に伴い、職人の高度な技能の記録や伝承、自動化が求められています｡しかし、繊細な技能動作に関わる体感の違いを比較し、分かりやすく教示することが大きな課題でした｡特に、工具でものを削る、擦るといった動作により発生する繊細な触覚は、従来の力覚提示装置※1や振動装置で忠実に再現することは、ハードウェアの応答限界のために困難でした｡
また、コロナ禍では、インターネットを活用して離れた人と交流する機会が増加しました。一方で、視覚と聴覚のみによる交流では、対面と比較してコミュニケーションが難しく、孤独感を訴える人もいました。
これらの課題を解決するためにNEDOが進める本事業※2において、産総研、東北大学、筑波大学、Adansonsは、極薄ハプティック※3MEMS※4による触覚デバイス※5と触覚信号編集技術※6を組み合わせた、双方向リモート触覚伝達システム※7の開発に取り組みました。
2．今回の成果
（1）リアルな触覚を再現するAR技能教育システムの開発
東北大学は、作業者が手で感じる振動体感を、手先から手首に伝わる振動波形を手首に装着した腕輪型デバイスで計測し、触覚の知覚量に基づく信号処理技術を用いることにより、作業者が感じる触覚の知覚量を数値化し、AR（Augmented Reality）システムを介して空間に投影することで、作業体感の可視化に成功しました｡
また、記録した触覚は、腕輪型デバイスに内蔵されたバイブレーターを用いて、振動体感を忠実にバイブレーターで再生することが可能です｡このように手首位置で振動体感を記録し、忠実に再生するには、記録する作業者と体験者間における手指からの振動の伝わりやすさの個人差を補正したり、小型のバイブレーターでも再生できる信号に変換する必要があります｡開発した触覚知覚量に基づく触覚信号の強調技術を用いて、個人差を補正し、バイブレーターが提示する体感量を忠実に制御することが可能になりました｡これにより、世界で初めて、個人の触覚の伝わりやすさの違いを補正しながら、振動体感を共有可能なAR技能教育システム※8を実現しました｡
図3のグラフはヤスリ動作を記録しておいた教師役の運動と振動体感に基づき、3人の被験者がARシステムを用いて再現を試みた実験の結果を示しており、教師のヤスリの接触角度※9および法線力※10に対する誤差をプロットしています｡振動体感を補正し、さらにARシステムで可視化することにより、ヤスリの接触角度とヤスリで加えた法線力の誤差およびそのばらつきが低減することから、被験者が教師の動作をより正確に再現できる可能性を示しています｡
（2）疑似心拍振動による社会交流促進の実証と心拍数共有アプリの開発
筑波大学は、これまでに開発した疑似心拍振動※11により、従来の覚醒の度合いを示す感情の表現に加え、「快―不快」の感情の表現が可能であることを実験により確認しました。また、この疑似心拍振動を介してカメラやウェアラブルデバイスから計測した表情や心拍数などの生体信号を伝達することにより、相手の存在感が強まることを実験により確認しました。これらの実験の成果を基に、手軽に二者間で振動を介して心拍数を共有可能なiPhoneおよびApple Watchユーザー向けの心拍数共有アプリ※12を一般公開しました。ビデオゲームで対戦している際の二者間や、競技中のアスリートからコーチまたは視聴者など、さまざまな場面で相手の心拍数の変化に触れる体験を提供します。
（3）皮膚内部の歪を可視化する独自の触覚デバイス設計・評価技術の開発
産総研では、独自に開発した極薄ハプティックMEMSデバイスによる振動刺激性能を向上させるために、皮膚ファントム※13と非接触式の計測装置を組み合わせることで、皮膚内部に生じる歪み分布を可視化・数値化する評価システムを構築しました。これにより、振動がどのように伝達しているかを定量的、かつ正確に把握することを可能としました。
本評価システムでは、高速度カメラを用いた非接触式の測定法を採用しており、任意の振動波形について皮膚内を伝播する歪を可視化できる点が大きな特徴です。また、この評価技術を活用し、デバイスの貼付構造や皮膚と振動板の接触界面を最適化することで、振動知覚能を向上させられることを筑波大学との共同研究で実証しました。
（4）自然言語を活用した人間とAIが双方向に“ネゴシエーション”する触覚信号分離／編集ソフトウェアを開発
Adansonsは、独自の信号分離／特徴抽出技術「参照系AI」を活用し、触覚信号などのノイズが多く複雑な信号から、人間の意図どおりに伝えたい信号を抽出するための「体感ネゴシエーション」インターフェイスを開発しました。
従来、ノイズが多い環境や、信号が複雑に混合されている場合、既存手法では専門知識を持ってしても人間の狙い通りにノイズを分離することは難しく、非常に複雑な処理が必要でした。
参照系AIは、人間の意図や現象の特性、特徴量に基づいて信号を分解することが可能であり、今回、触覚領域において、LLMや映像解析AIと組み合わせることで、より簡単に人間の意図がAIに伝えられるようになりました。さらに、AI側からも信号の意味や種別を判定し、信号分解方法や抽出する目的信号を提案する「ネゴシエーション」機構を開発したことで、AIと人間が双方向に意思決定しながら、簡単に複雑な信号を分解、抽出できるようになりました。
本技術により、リアルタイムでの動画の動きや信号の特徴に応じた音源分離や信号生成、高ノイズ下での特定信号モニタリングなどが容易になります。また、人間とAIの対話による意思決定プロセスにより、これまでのように無作為にAIが選別した結果を受動的に受け入れるだけの体験から、AI自体を人間が制御し、安全な処理を行うという体験が可能となります。
3．今後の予定
本事業終了後、東北大学は、触覚知覚量に基づく振動体感の定量化および信号強調技術のソフトウェアライブラリの企業向けの試験提供を既に開始しており、2025年後半に技術をライセンスするスタートアップを創業する予定です｡また、記録した体感付きの動画をスマートフォンで配信するSDK※14や、触覚信号のオーサリングツール※15も提供する予定です｡
筑波大学は、心拍数共有アプリのアップデートにより、一対多を想定した心拍数のブロードキャスト機能や、一対一で心拍数を共有しながら対戦するミニゲームを追加する予定です。
産総研は、この評価システムと最適化手法をさらに発展させることで、ウェアラブル機器やヘルスケア分野をはじめとするさまざまな応用領域へ極薄ハプティックMEMSデバイスを展開し、より自然で高度な触覚フィードバックを実現していく予定です。
Adansonsは信号分離／編集ソフトウェアでは、今後対応領域を拡大し使用感の向上を図りながら、より多くの人が、AIと対話しながら、安心感と納得感を持って信号を制御できる技術開発を実現していく予定です。
これにより、これまで空間および時間を超えて伝承が困難であった体で感じる触覚体験を手軽に記録して共有できる社会の実現を目指します｡
【注釈】
※1 力覚提示装置
力触覚提示装置は、使用者に対して物理的な力を伝達することで、対象物の硬さ、重さ、弾性などの感触を再現するデバイスです。これらの装置は、主にアクチュエーターやセンサを組み合わせることで、リアルタイムに力の大きさや方向を制御し、ユーザーが仮想環境や遠隔操作中に実際に触れているかのような感覚を提供します。医療シミュレーション、ロボット制御、仮想現実（VR）や拡張現実（AR）といった多様な分野で、より自然な操作体験や精密な作業支援を実現するために利用されています。
※2 本事業
事業名：人工知能活用による革新的リモート技術開発プロジェクト
事業期間：2021年度～2024年度
事業概要：人工知能活用による革新的リモート技術開発 https://www.nedo.go.jp/activities/ZZJP_100194.html
※3 ハプティック
ハプティック技術は、触覚による情報伝達を可能にする技術で、デバイスが使用者に対して物理的な感触を提供することを指します。この技術は、スマートフォンのバイブレーション通知やゲームコントローラーの振動フィードバック、さらには仮想現実（VR）や拡張現実（AR）でのリアルな触感体験の実現など、多岐にわたる分野で応用されています。ハプティック技術により、ユーザーは視覚や聴覚だけでなく、触覚を通じても情報を得ることができ、より直感的で没入感のあるインタラクションが可能になります。
※4 MEMS
MEMS（Micro-Electro-Mechanical Systems、マイクロエレクトロメカニカルシステムズ）とは、マイクロメートル単位（1マイクロメートルは100万分の1メートル）の微細な電子機械システムのことを指します。この技術により、電子回路と機械的な構造を微小なスケールで統合し、特定の機能を果たす小型デバイスを製造することが可能です。MEMSの応用例は非常に広範にわたり、スマートフォンの加速度センサや圧力センサなど、日常生活の多くの場面で使用されています。
※5 触覚デバイス
触覚デバイスは、皮膚に物理的な刺激を与えることにより触覚情報を伝達する装置のことを指し、スマートフォンやゲームコントローラー、VR装置などに利用されています。一般的には振動フィードバックや、皮膚を変形させる装置が用いられます。触覚提示に筋や腱（けん）の深部感覚で感じる力情報である力覚を含めることもありますが、大がかりな装置が必要な力覚提示に比べ、皮膚に対する触覚提示は小型化が容易で、ポータブルデバイス・ウエアラブルデバイスへの活用が期待されています。
※6 触覚信号編集技術
触覚信号は主に振動フィードバックに使用される振動波形のことを指し、近年、スマートフォンやゲームコントローラーなどで、振動波形を適切に編集することによりクリック感や衝突感、テクスチャー感などを表現できるようになってきています。特に、効果音や接触振動などを実収録した信号に基づき触覚信号を編集することで、よりリアルな体感を再生できます。従来の触覚信号編集技術は、振動発生素子の周波数帯域や振動振幅の制約により、収録波形をそのまま体感させることは困難であり、そのリアリティーは限られていました。
※7 双方向リモート触覚伝達システム
触覚デバイスと触覚信号編集技術を組み合わせることで、幅広い周波数帯域の触覚信号を体験できるため、指先で触れる操作や握手などの触覚情報を手首で計測し、相手側に伝えられるシステムです。
産総研の「極薄MEMS素子」によるハプティックデバイス、東北大の「信号強調・変換技術（ISM）」、筑波大が開発した「非言語的行動・反応のデフォルメ生成技術」、Adansonsが開発した振動データの特徴抽出を行う「参照系AI」4要素を組み合わせることにより、「ヒトが感じることのできる全ての周波数帯域の振動を表現可能」で「伝えたい振動を強調できる」触覚共有システムとなります。「リアルな触覚再現技術」で触覚を「共有」へ 「リアルな触覚再現技術」で触覚を「共有」へ
https://www.aist.go.jp/aist_j/press_release/pr2024/pr20240308/pr20240308.html
※8 AR技能教育システム
以下のURLで説明動画を公開中です。技能体感を伝えるAR可視化システム https://youtu.be/o-uAcuX9TD8
※9 接触角度
接触角度とは、対象物へツールや針、デバイスなどが挿入される際の角度を示すパラメータです。各種シミュレーションや医療ロボット、精密作業において、最適な接触方向を設定することで、正確な操作や安全性の向上に寄与します。
※10 法線力
法線力は、接触面に対して垂直方向に働く力のことを指します。機械工学や触覚フィードバック技術の分野では、摩擦や圧力の解析において重要な役割を果たし、リアルな触感や安定した動作の実現に貢献します。
※11 疑似心拍振動
疑似心拍振動は、心拍のリズムやタイミングを模倣して発生させる振動パターンを指します。医療シミュレーションやウェアラブルデバイス、触覚フィードバック技術などの分野で利用され、実際の心拍に似た振動を再現することで、ユーザーにリアルな生体反応を体感させることが可能です。
※12 心拍数共有アプリ
以下のApp Storeで公開中です。HearTalk https://apps.apple.com/jp/app/heartalk/id6550898385
※13 皮膚ファントム
皮膚ファントムは、実際の皮膚の物性や触感を模倣するために作成された人工モデルです。触覚デバイスの評価や医療シミュレーションにおいて、実験環境での再現性を高めるために利用され、リアルな感触の検証やデバイス設計の最適化に役立ちます。
※14 SDK
SDK（Software Development Kit、ソフトウェア開発キット）とは、特定のプラットフォームやデバイス向けのアプリケーション開発を支援するツール群のことです。ライブラリ、ドキュメント、サンプルコードなどが含まれ、開発者が効率的に機能を拡張し、製品やサービスを迅速に開発するための環境を提供します。
※15 オーサリングツール
オーサリングツールは、プログラミングの知識がなくても、直感的な操作でコンテンツやシナリオ、インタラクティブなメディアを制作できるソフトウェアです。教育、エンターテインメント、シミュレーションなど多岐にわたる分野で、ユーザーが容易に高品質なコンテンツを作成するための支援ツールとして利用されています。
このプレスリリースには、メディア関係者向けの情報があります
メディアユーザー登録を行うと、企業担当者の連絡先や、イベント・記者会見の情報など様々な特記情報を閲覧できます。※内容はプレスリリースにより異なります。
すべての画像
