高画質・低遅延でダ・ヴィンチ手術を遠隔指導　札幌医科大竹政伊知朗教授×天馬諮問㈱　共同研究

ダ・ヴィンチ３D映像リアルタイム院内配信およびインターネット使用した術野アノテーション付きリアルタイム双方向会話システムで東京・札幌間遅延0.0135秒達成　コロナ禍での活用期待

大腸がん手術の権威、札幌医科大学消化器・総合、乳腺・内分泌外科、竹政伊知朗教授と、映像データの圧縮・伝送・配信をコア技術とし、救急車映像や病院の手術室術野映像をリアルタイム伝送するシステムを開発・提供する天馬諮問株式会社（東京都港区、代表取締役、篠原雅彦）は共同で、コロナ禍における、ロボットアシスト手術遠隔指導をめざすリアルタイム映像伝送実証実験を行った。da Vinci Surgical System（Intuitive Surgical社）の３D術野映像および２D映像双方向会話システムにアノテーション（手書き）機能を搭載したTeleProctoring（テレプロクタリング：遠隔による立会施術指導）を院内LANおよび一般インターネット回線を介して限りなく遅延のない（ディレイ実測平均東京・札幌間0.027秒、最速0.0135秒）通信を達成した。

研究・実証実験成果のポイント

•  手術アシストロボットda Vinci Surgical Systemの３D術野映像を札幌医科大学の院内LANを通して別棟にある医局にてリアルタイム３D閲覧を行った。
• 講義用内視鏡術野映像を一般インターネット回線で東京から札幌にリアルタイム配信、双方向通話を行いながらアノテーション(指導目的での動画上ラベリング)を行った。
• 東京・札幌間のインターネットを介したリアルタイム双方向通話映像・音声およびアノテーションの映像遅延は0.0135秒となり、実用的かつ医療現場で運用可能であると評価された。（500回平均0.027秒）
• 指導医の数が限られるプロクタリング（立会施術指導）では、オンサイトの指導は非効率。国内移動制限のコロナ禍ではさらに困難。オンラインでの遠隔プロクタリングはこの課題に対応できる可能性がある。
• 大きな経費負担となりうる専用通信回線を必要とせず、大学共用の一般インターネット回線利用で運用可能。通信する相手施設の追加投資や回線デバイド等、導入時のハードルを下げられる。

　背 景
＜ロボットアシスト手術プロクタリング指導の限界＞
Intuitive Surgical社のda Vinci Surgical Systemをはじめとしたロボットアシスト手術は低侵襲手術手法として消化器関連の手術でも長年信頼のおけるものとなっているが、導入台数及び手術件数が増えているにもかかわらず近年の外科医およびプロクタリング（現場立会施術指導）指導医の不足により、費用的・時間的に非効率であることが課題となっている。その状況に加え猛威を振るい続けるCovid-19パンデミック禍での移動制限や感染症対策の徹底などがさらに指導医の遠征・オンサイトによる指導を困難とならしめている。

＜遠隔指導における通信のディレイ（遅延）が課題＞
そこで可能性を感じられるのがインターネットを介した遠隔手術指導の可能性である。札幌医科大学、竹政伊知朗教授はCovid-19パンデミック発症以前より、極めて正確な手技が求められるダ・ヴィンチの執刀医の視野映像を後進の医師たちにも見せながら指導したいと考えていた。現在でも既存のシステムを使用し２D内視鏡映像を用いて院内LANおよびインターネットを介しての遠隔地病院との双方向通信や手書きの線（アノテーション）を書き入れての指導は行われているが、大学内他学部との共用の回線の中20Mbpsもの大容量を使用しながらもディレイや映像の不安定さが目立つ。アノテーションは書き入れたものが相手に到達するタイミングが遅く、指示したところからずれてしまい映像を止めざるをえず手術のリズムを崩してしまっている。

＜専用回線や５Gは普遍的サービスとなるか＞
天馬諮問株式会社はこれまで山間部・島嶼部のような限られた通信環境下での救急車やドクターヘリ内部の患者・バイタル映像を３G回線を通じて搬送先病院や災害対策本部へ伝送・配信してきた。今年３月から開始された５G回線や専用回線敷設は地域的な格差、導入や月額使用料、ハードの買替など多くの障壁があり地域的なデジタルデバイドが存在する。５Gのような次世代高速通信規格開発・サービス一般化に関しては国際的・政治的・技術的競争もあり先が読めないこともあり、社会基盤としての医療サービスが普遍的に普及するためには現在すでに利用可能な通信インフラでのサービスが提供されなければならないと考えている。そのためには医療現場でも通用する高精細映像をいかに遅延なく狭い通信帯域でも確実に配信できるかどうかがカギである。


今回の実験の内容
＜実証実験１：ダ・ヴィンチ３D術野映像リアルタイム圧縮伝送配信閲覧システム＞

10月15日午前10：00より札幌医科大学手術室より映像配信、同大学構内別棟にある医局にて閲覧を行った。回線は院内LANを使用し、da Vinci Surgicalシステムより排出されるside-by-side映像を天馬のシステムTransmed-OPエンコードサーバーにて3MbpFullHDサイズまで圧縮、伝送。医局内のノートパソコンで受信後HDMIケーブル接続により３D表示可能な家庭用プロジェクターにて投影。手ごろな価格の３Dグラスをかけて見ることでダ・ヴィンチの執刀医と同じ高精細術野を複数人数が同時に遠隔でリアルタイム閲覧できる。通信に使用するデータ量は３Mbpsと理論的には一般インターネット回線を介しても画質およびスピードを保つことが可能。遠く離れた遠隔地への３D映像ライブ中継、指導時の説明などが可能となる。
また、このTransmed-OPに搭載の天馬諮問オリジナルエンコーダーはソフトウェアのため閲覧先に高価なデコーダー（ハードウェア）を必要としない。パソコンとインターネット接続があれば世界中で活用可能だ。
　

＜実証実験２：内視鏡２D術野映像双方向通信・会話・アノテーション表示システム＞

10月16日午前9：30より札幌医科大学医局と天馬諮問の東京の事務所を一般インターネット回線でつなぎ双方向会話を行った。東京のパソコンを手術室で執刀する研修医の術野と見立て、札幌の医局から竹政教授がプロクタリング指導をするという設定。東京のパソコンから教材用内視鏡手術映像を配信、札幌医局のノートパソコンで受信、タッチパネルディスプレイに表示された内視鏡映像に線や矢印を書き入れ、具体的にどちらの方向にどれぐらいの力で組織をけん引するか、血管の位置や剥離を進める方向などまるで隣で指導しているかのように指示することができる。
この指導で大事なことは映像や音声、アノテーションの手書き部分がちぐはぐになったりせず、作業を止めずに進めることができることである。このシステムを使って札幌・東京間の双方向会話とアノテーションで発生した遅延の計測を行った。遅延を正確に計測するデジタルストップウォッチを搭載しテストを行い、札幌東京間のディレイは最少で、0.0135秒となった。実験は500回行い、ディレイ平均は0.027秒となった。また双方向会話の映像や音声が途切れたり、ディレイでうまく伝わらなかったりといった問題も起こらず、医療現場で運用可能という評価であった。

 

 

 

今後の発展
この実証実験ではダ・ヴィンチ３D術野映像の閲覧は学内のみで行ったが、一般インターネット回線を通じたプロクタリング指導を目的とした高精細・低遅延リアルタイムライブ配信が可能だ。
術野アノテーション双方向通話では、上記３D映像とチャンネルを分け同時に両方閲覧することでライブとアノテーション指導を同時に行うことができる。音声データを加えるとさらにライブ感が増し「まるで隣で指導をうけているかのような」遠隔指導が可能となってくる。
また映像のアノテーションだけでなく会話の内容等との紐づけ、ビッグデータ収集、教師データ作成、AI等の次のステップも見えてくる。指導医不足・外科医不足を補いパンデミック禍の感染リスクを減らしながらコストコントロールし、ひいては患者へ還元されるシステムの開発を今後も目指していく。

=================================
竹政伊知朗教授との共同研究について
2013年よりダ・ヴィンチによる直腸がん手術の症例に数多く取り組んできた竹政教授は2016年Intuitive Surgical社によりプロクター（ダ・ヴィンチ手術の指導医）に認定された。また同時に札幌医科大学付属病院もチーム医療としてダ・ヴィンチ手術を安全かつ適正に運用していることやスタッフの習熟度、チームワーク、他施設からの医師の受け入れ態勢などのポイントが評価され、症例見学施設として認定された。
2018年初めて竹政教授のもとで天馬諮問による映像伝送デモンストレーションを行ったことをきっかけとし、以後医療現場での運用に足るシステムづくりに対する細かい要望と指導が行われてきた。延べ7回におよぶ院内LANを使用した３D映像伝送やアノテーション伝送の実験を行っており、2020年からはCovid-19パンデミックの影響もあり、オンサイトのプロクタリングが困難となったため、さらなる遅延の短縮、映像の質向上等また、実際の運用を想定し一般のインターネット回線を使用した実証実験を開始した。
医療現場での運用の実際と映像圧縮伝送技術、またハードを含めたソリューション全体における課題を共同で一つ一つ解決し、今回の実験に成功した。
プロクターおよび症例見学施設認定関連記事：https://web.sapmed.ac.jp/jp/news/press/03bqho000026m1ei.html


竹政伊知朗　教授プロフィール

専門領域
消化器・総合、乳腺・内分泌外科

略歴
平成05年03月　大阪医科大学　医学部　卒業
平成05年04月　大阪大学医学部付属病院（第2外科） 研修医
平成06年06月　国立大阪病院　外科　医員
平成09年02月　秋田赤十字病院　消化器センター
平成10年06月　大阪大学大学院医学系研究科　病態制御外科　大学院生
平成11年04月　奈良先端科学技術大学院大学　バイオサイエンス科　特別研究員
平成14年03月　大阪大学大学院　医学系研究科　博士課程 修了
平成14年04月　法務技官医師
平成16年06月　大阪大学大学院医学系研究科　消化器外科　助手（助教）
平成26年04月　大阪大学大学院医学系研究科　消化器外科　診療局長
平成27年04月　大阪大学大学院医学系研究科　消化器外科　講師
平成27年11月　札幌医科大学　消化器・総合、乳腺・内分泌外科　教授
平成29年04月　徳島大学大学院医科学教育部　客員教授
令和01年07月　富山大学大学院医学薬学研究部　客員教授

天馬諮問株式会社について
映像圧縮転送技術の開発とその技術を活用したソリューションの提供を目的として2012年設立。
独自の映像圧縮アルゴリズムとコーデックの研究開発に取り組み、mp4に代表される既存技術（H.264）に比べてその3分の1のサイズに圧縮できる新技術を開発、救急搬送サポートシステム「Transmed-EM」を完成させる。
救急車内に設置したカメラで患者の様子と生体モニターのデータを同社のクラウドシステムへ伝送。病院側からインターネット回線を通じてクラウドに接続すれば、ディレイの少ない高精細な映像を閲覧できるシステム。救急車からの映像は、わずか数Kbps程度という低速の3G回線でも転送することができ天馬の独自動画圧縮技術が生かされている。またこのシステムは４Kカメラ等搭載した災害時飛行ドローンの映像伝送にも応用でき、全国自治体や緊急消防援助隊の訓練などにも多数参加し実証実験を成功させている。現在全国6000台の救急車のうち200台にこのシステムを搭載。また手術室術野映像の伝送・アーカイブシステムも販売をはじめ現在全国54室のオペ室に搭載されている。2020年からはパンデミック禍における遠隔ニーズの高まりにより医療関連各種遠隔サービスの企画開発および実証実験を行っている。映像・音声等電子カルテには表現できない情報を遠隔で伝えることにより、データだけでなく五感を使う医師の研ぎ澄まされた感覚や知覚をサポートすることで、医師不足や医療従事者の負担軽減をサポートする技術開発を心掛けている。

【大学概要】
北海道公立大学法人　札幌医科大学
札幌市中央区南1条西17丁目
理事長・学長　塚本泰司
http://web.sapmed.ac.jp

【会社概要】
会社名：天馬諮問株式会社
所在地：東京都港区麻布台３－２－７
代表者：篠原雅彦
設立：2012年1月
URL：http://www.tenmashimon.co.jp
事業内容：医療映像圧縮・伝送・配信・アーカイブ技術研究開発