AIと心電センサで手術中の医師の感情を見える化

熟練医師の手術中の感情を可視化して手術技術のレベル向上・平準化を目指す

　北大発認定ベンチャー株式会社ミルウス(※1)は、横浜国立大学(※2)らと共同開発したAI感情推定モデル(※3)を用いて、手術中の医師の感情を心電センサとAIを用いて可視化するシステムの開発を行い、センサを装着した医師の手術中の感情を可視化可能なことを確認しました。これにより、熟練医師でも緊張するシーンの抽出などで、研修医の教育等に有効な情報の抽出が可能となります。今後、性能評価を重ね、感情変化の客観データ取得による、重要業務従事者の働き方改革への活用を目指します。

[背景]
　感情は人々のパフォーマンスを左右する重要な指標です。例えばスポーツ選手の成果は感情に大きく左右すると言われています。とりわけ命を預かる手術中の医師の感情を可視化することは重要であり、経験豊富な医師が、術中の各ステージで、どのように感情をコントロールしているかは、研修医の教育などに非常に有効となります。

今回、北海道のノーステック財団(※4)「医療機関ニーズ型開発補助事業」として、AIによる手術中の医師の感情推定実験を行いましたので報告します。
[手術医師用AI感情可視化システム]
　今回実験に用いたシステムは胸に貼り付ける心電センサとAI解析および可視化を実行するWindows パソコン(PC)のアプリから構成され、医師や専門家が、手術中に記録した術野の動画と、その時点の喜怒哀楽といった感情の動きをラッセルの感情円環図上に表示します。また、感情の起伏、覚醒度、快適度等を時系列で表示し、カーソルを移動させることにより、希望のタイミングの感情を1分単位で表示できます。これにより、経験豊富な医師でも緊張する手術のステージを把握できます。本システムを用い、より多くの医師のデータを集めることにより、これまで主観の共有で積み重ねられていたノウハウに加え、熟練医師の感情コントロールを客観的なデータとして蓄積し、研修医の教育に活用する等の応用が期待できます。下図1の例では、手術開始時点では比較的落ち着いた黄色が主体ですが、後半の術野が脳内に至る佳境段階では緊張を表すオレンジ色が増えているのが見てとれます。　また、感情の強度も強弱を繰り返しており、緊張時では、その間隔が短くなっています。今後、心理学の専門家にも協力していただき、データの積み重ねと共に、心理的側面からの分析を進めます。

　　　　　　　　　　　　　　　　　　図1. AI感情推定システムの画面

 

[医師等の重要業務従事者の働き方改革に活用] 
　医師に限らずパイロットや電車の運転者等の人々の命を預かる重要な業務従事者の働き方改革は、社会的にも重要な課題です。できれば心身ともに快適な状態で業務に臨んでいただきたいのですが、逆に限られた人材に仕事が偏り、過酷労働に陥りがちです。このような分野にこそ、先端ITを導入すべきであると考え、弊社は図2に示すように、感情だけでなく、生活習慣、バイタルサイン、食事内容等をAIと高度解析で正確に推定する仮想センサ/ミパルPDSプラットフォームおよびサービスの開発を推進しています(図2)。仮想センサで測定した重要業務前の睡眠データ等のライフログが重要業務中の従事者の感情に、どのような影響を与えるか等、今後明確化していきたいと考えています。

[共同研究により応用分野を拡大し、さらにビックデータ活用を目指す]

 　働き方改革だけでなく、これまで主観にたよっていたアンケートによる商品・サービスの市場調査、アバターの感情表現さらには認知症の早期発見等の医療応用等、感情推定技術には非常に広範囲の応用が想定されます(図3)。　一方、感情は心の反映であり、利用シーンや個性によって異なる部分もあります。　応用分野ごとに、多様な企業や大学との共同研究を推進し、センシング、AIアルゴリズム等の改良・最適化を図っていきたいと考えています。

[参照リンク]
※1 株式会社ミルウス(本社札幌市)　 https://www.miruws.com/
※2 横浜国立大学　大学院環境情報学府　島研究室　(横浜市) 　http://www.bmer.ynu.ac.jp/
※3 日本機械学会主催のロボティクス・メカトロニクス講演会（ROBOMECH2021）
https://www.jstage.jst.go.jp/article/jsmermd/2021/0/2021_2P3-J17/_article/-char/ja/ 
※4 公益財団法人北海道科学技術総合振興センター(ノーステック財団) https://www.noastec.jp/