シンプルな色補正方法で遠隔診療の高品質化を実現！スマホ動画からリモートでバイタル情報を取得

　千葉大学大学院工学研究院イメージング科学コース 津村徳道 准教授と金沢大学附属病院漢方医学科　小川恵子 特任准教授 を中心とする共同研究チームは、DIC株式会社、合同会社画像技術研究所、株式会社センシング、株式会社アウトソーシングテクノロジーとの共同研究で、カラーチャートを活用した顔動画の色補正に関する研究を行うとともに、同時にスマートフォンで心拍数などのバイタル情報を非接触で取得できる高品質なシステムを実現しました。遠隔診療への応用が期待できるこのシステムは、漢方医学の診断法の一つである、視覚情報をもとに診察を行う「望診」（ぼうしん：注1）の概念を生かしています。漢方医学科だけでなく、皮膚科、内科など様々な診療科へ高品質な遠隔診療システムを提供できます。
　この成果の一部は、「Artificial Life and Robotics」にて、2020年7月21日に公開されました。

​

図１： (a)カラーチャートを使用した顔画像の色補正　(b)スマートフォンを用いた非接触バイタルセンシングの流れ。ここでは心拍数、脈拍数、自律神経指標 （注2）の計測に成功

 

• 研究の背景

　自宅から診療を受けられる遠隔診療は、COVID-19患者の増加により、その必要性がますます加速しています。遠隔診療では、これまでの血液・生化学検査などの検査結果を重視する診察から、画面を通して得られる顔や舌の色などの情報を活用した診察へのパラダイムシフトが求められています。
　しかし、スマートフォンなどのビデオ通話では、デバイスの特性や患者の居場所の照明によって色の違いが起きてしまいます（図２）。このことは、遠隔で視覚情報をもとに診察を行うにあたって大きな障壁でした。

図2： スマートフォンのカメラを通した顔画像の例。機種や照明によって色の違いができてしまう

• 研究成果

（1）カラーチャートを使用して適切な色補正を実現

図３：カラーチャートを用いて色補正を行った結果 （色補正前では手元と画面上のカラーチャートの色が大きく異なるが、色補正後には画面上のカラーチャートの色が正確に表示される）

 

　本研究チームは、DIC株式会社との共同研究で遠隔診療での色再現用カラーチャートを作成しました。これを患者と医師の双方に予め配布し、患者側が画面上に表示させたカラーチャートと、医師側の手元にあるカラーチャートの色を合わせるように画像の色を補正することで、より正確な色再現が実現します。これにより、端末や周辺の光環境の違いに影響されにくく安定的な条件で診察を行うことができます。
　比較的低コストで容易に制作が可能なカラーチャートの配布という、従来の枠にとらわれない極めてシンプルなイノベーションで、遠隔診療の高品質化を実現できる点が本成果の特色です。

（２）顔の動画像をもとに遠隔で患者のバイタル情報を取得
　さらに本研究では、研究代表者の津村によるこれまでの機能的画像処理に関する研究成果を活用し、色再現を実現した患者の顔の動画から心拍数、呼吸数、ヘモグロビン量などのバイタル情報を取得することに成功しました（図4）。
　このように非接触でバイタル情報を取得することで、医療従事者への感染防止だけでなく、自宅待機中の患者の状況を遠隔でモニタリングして重症化や死亡を未然に防ぐことにもつながります。

 

 

図4：色素成分分離と心拍波形の計測 (情動計測)。顔の動画から、バイタル情報をリモートで取得

• 今後の展望

　研究成果（１）（２）の融合により、スマートフォン上で高品質な遠隔診療への応用が期待できる高度な画像処理システムを実現しました。遠隔医療の必要性が急速に高まる中、本研究により得られた色再現や非接触でのバイタル情報の取得の需要は、ますます大きくなることが予想されます。
　遠隔診療を高度化するための技術が進歩することで、今後、未知の感染症が発生した際にも、対面診療が困難な患者に対して、遠隔であってもより対面に近い診療を提供できるようになると期待されます。また感染症対策のみならず、定期的なフォローが肝要な患者（悪性腫瘍や自己免疫疾患など）に対する高品質な遠隔診療へも応用できると考えられます。本研究では、産業用カメラでは実現できている顔動画からの酸素飽和度や血圧の推定手法を、スマートフォン上で実現することを目指しています。将来的には、スマートフォンで顔以外の部位の動画を撮影することで、肩こりの定量化にも応用できることなどを期待しています。

• 用語解説

注１）望診   漢方における、四診（望診、聞診、問診、切診）のうちの一つである。顔色・舌の色・肌のつや・肉付きなどを目で見て診察する方法。
注２) 自律神経指標 　心電図や脈波のピーク間の間隔（脈波間隔）の変動周波数は、交感神経と副交感神経の自律神経のバランスに影響を受ける。自律神経指標 （LF/HF)は、心電図や脈波からそのバランスを定量化した指標であり、メンタルストレスの診断に活用される。

• 研究プロジェクトについて

　本成果は，以下の事業・研究領域・研究課題によって得られました。
　・JSTセンター・オブ・イノベーション（COI）プログラム（感性COI：光想起）
　・千葉大学グルーバルプロミネント研究基幹「質感情動イメージングの創成」
　・科学研究費補助金（ 19K12750 ）
　・その他の研究助成（ファイザーヘルスリサーチ振興財団,テルモ生命科学芸術財団）

• 論文情報

論文タイトル： Development of a camera-based remote diagnostic system focused on color reproduction using color charts
掲載誌：Artificial Life and Robotics
著者：Masato Takahashi, Ryo Takahashi, Yasuhiro Morihara, Isseki Kin,Keiko Ogawa-Ochiai & Norimichi Tsumura
DOI: https://doi.org/10.1007/s10015-020-00627-1