顔の映像から非接触・高精度で心拍数を推定する手法を開発

～環境光変動によるノイズを低減し、従来法よりも精度向上～

本研究の成果は、2023年6月9日に国際学術誌「IEEE Access」にオンライン掲載されました。

【研究の要旨とポイント】

• 非接触に心拍数を推定する手法として、顔の映像の色変化を活用する手法が提案されていますが、従来の方法では周囲の環境光変動の影響を受け、精度の高い結果を得ることが困難でした。

• 動的モード分解を用いることで、心拍由来の顔のわずかな色変化（脈波）を映像から抽出する新たな解析手法を開発しました。

• 開発した手法では、環境光変動下でも精度の高い解析が可能でした。

• 本研究により、スマートフォンのカメラを使った簡便なバイタルモニタリングシステムなどへの応用が期待されます。

【研究の概要】

東京理科大学大学院工学研究科電気工学専攻の栗原康佑氏（2023年度博士後期課程3年、日本学術振興会特別研究員）、同大学工学部電気工学科の前田慶博講師、浜本隆之教授、津田塾大学学芸学部情報科学科の杉村大輔准教授らの研究グループは、顔が撮影された映像を時空間解析手法の一つである動的モード分解(※1)により解析することで心拍由来のわずかな色変化（脈波）の抽出に成功し、非接触で心拍数を推定できる新たな容積脈波測定法を開発しました。環境光変動下で撮影された映像について解析をおこなったところ、本手法の方が従来法よりも高い精度で被験者の心拍数を推定できることを実証しました。

心拍数は健康管理や感情分析の指標の1つとなることが知られています。心拍数の計測にはパルスオキシメーターなどの接触型の計測機器が使用されてきましたが、計測機器の装着による炎症や不快感などが生じることもあるため、非接触で高精度な心拍数測定法の開発が求められてきました。現状の非接触性の心拍数測定法としては、撮影した顔の映像から心拍由来のわずかな色変化を抽出する容積脈波測定法が知られています。しかしながら、被写体の顔の動きや環境光に変動が生じると、脈波由来の時系列成分の抽出が困難となり、心拍数推定の精度が著しく低下するという課題がありました。

本研究グループは、脈波が非線形性や準周期性などの特性を有することを考慮し、顔が撮影された映像から抽出した多次元時系列信号に対して動的モード分解を適用することで、脈波由来の時空間構造の抽出を行いました。一般に公開されている3つのデータセットに対して本手法を適用した結果、環境光変動が生じているシーンにおいても、高い精度で心拍数を推定できることを明らかにしました。実験における二乗平均平方根誤差は6.37bpmであり、従来法よりも推定精度が36.5%も向上しました。

本研究をさらに発展させることにより、医療、看護、フィットネスなどの場面におけるバイタルモニタリング技術としての応用が期待されます。

本研究の成果は、2023年6月9日に国際学術誌「IEEE Access」にオンライン掲載されました。

図. 本研究の概要

【研究の背景】

容積脈波測定法は、心臓の拍動によって生じる血管の容積変化である脈波を、皮膚に生じるわずかな色調変化から測定する方法です。測定された脈波の周期成分から、心拍数などを算出することが可能となります。容積脈波測定法を顔の映像に対して応用することによって、皮膚に直接測定機器を装着せずに、測定を行うことができます。これにより、測定機器を接触させることにより生じる、被測定者の皮膚の炎症や、測定中のストレスを軽減できることが期待されます。しかしながら、撮影環境によっては環境光が変動するため、正確な脈波や心拍数の推定が難しいという課題がありました。そこで本研究グループは、環境光変動が生じる場合でも、高い精度で脈波や心拍数が推定できる手法の開発を目的とし、研究を進めてきました。

これまでの研究から、脈波は準周期的な非線形ダイナミクスを示すことが知られています。この知見に基づき、脈波のダイナミクスは特定の周波数範囲において指数関数的な振幅の減衰・発散成分を持たない振動系として近似的にモデル化することができます。ノイズは通常、脈波のような準周期的な挙動を示さないことから、このダイナミクスモデルに基づき動的モード分解で解析することで、ノイズの影響を低減することができると考えられます。

以上の背景を踏まえ、本研究グループは多次元時系列信号から時空間ダイナミクスを抽出する動的モード分解を用いた時空間構造解析により、顔の映像から脈波信号を抽出する新たな心拍数推定法の開発を行い、その妥当性の評価を行いました。

【研究結果の詳細】

まず、顔映像の各フレーム画像から色信号（RGB）を抽出しました。次に、脈波が非線形かつ準周期的なダイナミクス特性を示すことをモデル化した、動的モード分解を実行し、脈波信号を抽出しました。そして、推定された脈波信号の心拍変動量の解析を行うことにより、心拍数を推定しました。

次に、公開データセット（TokyoTech Remote PPGデータセット、MR-NIRPデータセット、UBFC-rPPGデータセット）を用いた実験により、今回開発した手法の有効性を検討しました。安定した環境光環境で作成されたTokyoTech Remote PPGデータセットと MR-NIRPデータセットにおいては、本手法、従来法のいずれでも正確な心拍数推定を行うことができました。これは、安定した環境光のもとではノイズ成分が少なく、すべての顔フレームで脈波の伝播が明瞭に観察されたためと考えられます。環境光が変化する環境で作成されたUBFCデータセットにおいては、従来法ではノイズと脈波成分を区別できず、精度が低くなることがわかりました。これに対し本手法では、精度の高い心拍数推定を実現できることが明らかとなりました。これは脈波のダイナミクス特性を取り入れた動的モード分解による時空間解析を適用することで、環境光が変動するシーンにおいても脈波信号と心拍数を精度良く推定できることを示唆しています。

本研究成果について、前田講師は「本研究では、環境光変動が生じるシーンにおいても高精度な心拍数推定を実現するために、脈波の時間・空間特性を考慮した心拍数推定手法の開発を行いました。本手法はビデオ会議システムを利用した遠隔医療やスマートフォンなどのカメラを用いた健康モニタリングへの応用が期待されます」と今後の研究の進展に期待を寄せています。

【用語】

※1 動的モード分解: 実験や数値シミュレーションで得られる時空間データから特徴構造を抽出する手法。空間的な構造と時間的な構造の両方を得ることができる。

【論文情報】

雑誌名：IEEE Access

論文タイトル：Spatio-Temporal Structure Extraction of Blood Volume Pulse Using Dynamic Mode Decomposition for Heart Rate Estimation

著者：Kosuke Kurihara, Yoshihiro Maeda, Daisuke Sugimura, and Takayuki Hamamoto

DOI：10.1109/ACCESS.2023.3284465

URL：https://doi.org/10.1109/ACCESS.2023.3284465