「リアルな触覚再現技術」で触覚を「共有」へ

触覚を計測、編集、調整、再生する技術を開発

・ 新しいハプティック技術で体感を手軽に共有
・ ヒトが感じる全ての振動から伝えたい周波数帯域の振動を抽出・強調し、体感をよりリアルに再現
・ エンタメ体験やスキル習得の新しい手法を提案

• 概 要

国立研究開発法人 産業技術総合研究所（以下「産総研」という）センシングシステム研究センター ハイブリッドセンシングデバイス研究チーム 竹井 裕介 研究チーム長、竹下 俊弘 主任研究員、国立大学法人 東北大学（以下「東北大」という） 大学院情報科学研究科 応用情報科学専攻・人間-ロボット情報学 昆(こん)陽(よう) 雅司 准教授国立大学法人 筑波大学（以下「筑波大」という） システム情報系 応用触覚研究室 蜂須 拓 助教、株式会社Adansons（以下「Adansons」という） 中屋 悠資 取締役CTO、は、極薄ハプティックMEMSによるハプティックデバイスを活用した「双方向リモート触覚伝達システム」を開発しました。

同システムは、触覚デバイスと触覚信号編集技術を組み合わせることで、幅広い周波数帯域の触覚信号を体験できるため、指先で触れる操作や握手などの触覚情報を手首で計測し、相手側に伝えることができる特徴があります。エンターテインメント領域でのよりリアルな振動配信の創出、遠隔地での振動体験の共有などの使用例を想定しています。

なお、この技術の詳細は、2024年3月8日～16日に米国テキサス州オースティンで開催されるSXSW Conference & Festivals 2024で発表されます。

下線部は【用語解説】参照

• 開発の社会的背景

現在、「触覚技術」はエンターテインメント領域でも盛んに利用されています。しかし、スマートフォンや家庭用ゲーム機などに搭載されている従来のLRA型振動発生素子では、利用できる振動帯域が限られること(150～250ヘルツ程度)や、振動発生のみの単機能であること、実装スペースの確保が必要であることなどの課題がありました。また、コンテンツ作成の際に必要となる「体感振動計測」においても、既存のソフトウエア技術では、計測時に本来伝えたい振動信号のほか、運動によるノイズや身体に由来する心臓の鼓動音などの振動も含まれてしまうことで振動信号が不明瞭になってしまうという課題がありました。

• 研究の経緯

前述のハードウエア・ソフトウエア面での課題に対し、これまで産総研センシングシステム研究センターは、オムロン株式会社エレクトロニック＆メカニカルコンポーネントビジネスカンパニーと共同で、極薄MEMSを実装した世界最薄・最軽量のハプティック用フィルムを開発してきました。（「多彩な皮膚感覚を生み出すフィルム状の振動デバイス」2021年1月18日 産総研プレス発表）[1]

今回の発表では、そのハプティックフィルムを搭載したデバイスに各種の信号処理技術を適用することで、振動によるリアルな体感・体験の共有を実現しています。

なお、本研究の成果は、国立研究開発法人 新エネルギー・産業技術総合開発機構（NEDO）の委託事業の結果得られたものです。

[1]https://www.aist.go.jp/aist_j/press_release/pr2021/pr20210118/pr20210118.html

• 研究の内容

本研究では、産総研の「極薄MEMS素子」によるハプティックデバイス、東北大の「信号強調・変換技術（ISM）」、筑波大が開発した「非言語的行動・反応のデフォルメ生成技術」、Adansonsが開発した振動データの特徴抽出を行う「参照系AI」の以下に示す4要素を組み合わせることにより、「ヒトが感じることのできる全ての周波数帯域の振動を表現可能」で「伝えたい振動を強調できる」触覚共有システムを開発しました。

●  産総研「極薄MEMS素子によるハプティックデバイス」

ハードウエアとして、振動を表現できるだけでなく計測することができるデバイスを開発しました。厚さわずか10マイクロメートルと薄くて軽い極薄MEMS素子に、「曲げると電圧が生じる」正圧電効果を利用した振動センサー、「電圧を印加するとひずむ」逆電圧効果を利用した振動発生素子という二つの働きを担わせているため、素子サイズを変えることなく双方向の触覚共有が可能となりました。例えば、手首につける「リストバンド型」や「ネイル型」、「指輪型」、「ペン型」など、使用者のニーズや用途に合わせたデバイスが作製できます(図１)。リストバンド型デバイスの場合、手指が拘束されないことから「スマートフォンを持ちながら触覚による演出を楽しむ」、「触覚を共有しながら工場作業などの技能伝達を行う」などのシーンで活用できます。

本研究の極薄MEMSをハプティクデバイスに採用した場合、ヒトが感じることのできる幅広い周波数帯域（1～1,000ヘルツ）で、振動の発生とセンシングの二つの機能を両立し、さらに、複数素子で多チャンネル化した場合にも薄く軽量なため省スペース化できるといった、従来技術に無いメリットがあります。

●  東北大「体感振動の強調・変調技術（ISM）」

ソフトウエア要素の一つとして、信号処理技術「ISM（Intensity Segment Modulation）」を開発しました。ISMは、接触振動や音響振動などの高周波信号に対し、ヒトの触覚知覚特性に基づいて計算を行うことで、触感を保ちながらデバイスで再生しやすい低周波の信号に変換する技術です。これにより、小型の振動子でもより広帯域な体感振動の提供が可能となり、「ユーザーが感じやすい振動体験」を創出することができます。

極薄MEMS素子によるハプティックデバイスにISMを適用した場合、極薄MEMSの持つ「高周波帯域で駆動ができる」「特性が周波数によらず一定である」などの特性を活かし、振動をより体感しやすい信号に変換できるため、微細な体感の違いを表現できる、音楽信号の体感振動も再生可能になるなどのメリットが確認されました。同技術は今回のシステムにおいて「伝えたい振動を強調する」という働きをしています（図２）。

●  Adansons「独自AIによるデータ抽出」

ソフトウエア要素の一つとして、独自の「参照系AI」技術を開発しました。本技術を利用することで、元となるデータから必要なデータを瞬時に抽出することが可能です。本技術は入力信号をデータの特徴量ごとに分解できるのが特徴であり、今回のシステムにおいて「伝えたい振動のみを抽出する」という働きをしています。

●  筑波大「オンラインコミュニケーションにおける触覚情報の伝達システム」

ソフトウエア要素の一つとして、独自の双方向リモート触覚伝達システムを開発しました。オンライン会議などの場では、表情や生理反応などの非言語的行動が伝わりにくいという問題がありますが、脈拍のデータをデフォルメした疑似脈拍データを生成し、通信回線によりリモート再生した場合の効果を検証しました。今回のシステムにおいて「触覚を介した表現ができる独自の情動表現技術」として働いています。

• 今後の予定

今後、同技術が多くの分野において価値創出されるよう、技術面だけではなくコンテンツ創出にも取り組んでいきます。

体感振動はエンターテインメント分野のみならず、非言語的な技術継承がなされてきた手工・加工などのハンドメイドによる作業現場での導入、スポーツ中継などでプレイヤーの心理状態を観戦者に伝える新規コンテンツなど、振動による「心理」「技術」、そしてリモートで振動を介して共有することによる「体感」の3方向を軸に、技術とコンテンツの融合を進める方針です。

• 展示会情報

展示会名称：SXSW（サウス・バイ・サウスウエスト） Conference & Festivals 2024、Creative Industries EXPO、ブース番号1423

本成果展示期間：2024年3月10日～3月13日

URL：https://www.sxsw.com/

スポーツ中継やショート動画などの動画/音声のコンテンツと触覚情報を合わせた新たなユーザー体験の一例を展示します。

• 用語解説

ハプティック

ハプティック技術は、触覚による情報伝達を可能にする技術で、デバイスが使用者に対して物理的な感触を提供することを指します。この技術は、スマートフォンのバイブレーション通知やゲームコントローラーの振動フィードバック、さらには仮想現実（VR）や拡張現実（AR）でのリアルな触感体験の実現など、多岐にわたる分野で応用されています。ハプティック技術により、ユーザーは視覚や聴覚だけでなく、触覚を通じても情報を得ることができ、より直感的で没入感のあるインタラクションが可能になります。

MEMS

MEMS（Micro-Electro-Mechanical Systems、マイクロエレクトロメカニカルシステムズ）とは、マイクロメートル単位（1マイクロメートルは100万分の1メートル）の微細な電子機械システムのことを指します。この技術により、電子回路と機械的な構造を微小なスケールで統合し、特定の機能を果たす小型デバイスを製造することが可能です。MEMSの応用例は非常に広範にわたり、スマートフォンの加速度センサーや圧力センサセンサーなど、日常生活の多くの場面で使用されています。

触覚デバイス

触覚デバイスは、皮膚に物理的な刺激を与えることにより触覚情報を伝達する装置のことを指し、スマートフォンやゲームコントローラー、VR装置などに利用されています。一般的には振動フィードバックや、皮膚を変形させる装置が用いられます．触覚提示に筋や腱の深部感覚で感じる力情報である力覚を含めることもありますが、大がかりな装置が必要な力覚提示に比べ，皮膚に対する触覚提示は小型化が容易で、ポータブルデバイス・ウエアラブルデバイスへの活用が期待されています。

触覚信号編集技術

触覚信号は主に振動フィードバックに使用される振動波形のことを指し、近年、スマートフォンやゲームコントローラーなどで、振動波形を適切に編集することによりクリック感や衝突感、テクスチャー感などを表現できるようになってきています。特に、効果音や接触振動などを実収録した信号に基づき触覚信号を編集することでよりリアルな体感を再生できます。従来の触覚信号編集技術は、振動発生素子の周波数帯域や振動振幅の制約により、収録波形をそのまま体感させることは困難であり、そのリアリティーは限られていました。

LRA型振動発生素子

LRA型振動発生素子（Linear Resonant Actuator）は、アクチュエーターの一種で、磁石とコイルの相互作用によって動きます。内部の磁石がコイルから生み出される磁場の効果を受けて前後に直線移動し、この動きを振動の生成に利用します。この振動状態は構造が持つ固有の共振周波数により規定され、スマートフォンやウエアラブルデバイスでの触覚フィードバックに応用されます。