人命救助用AIスマートグラスの実用化に向け、消防本部と連携した実証試験を実施

ドローン×AI×XRの融合による最先端の捜索支援AIスマートグラス「3rd-EYE」実用化へ

1．概要
株式会社ロックガレッジ（本社：茨城県古河市、代表取締役　岩倉大輔）は、茨城県DXイノベーション推進プロジェクト事業の採択を受けて、茨城西南広域消防本部と合同で、ドローン×AI×スマートグラスによる訓練形式の人命救助実証試験（以下、実証試験）を実施しました。複数回実施された一連の実証試験では、本システムの実用化に向けた性能検証と利便性追求のための評価試験を行いました。


2．背景
我が国は、台風や豪雨、豪雪、洪水、土砂災害、地震、津波、火山噴火など様々な大規模災害が発生しうる国土となっています。これらの大規模災害においてその被害を最小化すべく、迅速かつ効率的な捜索活動が求められています。
現在全国の消防組織等においては、捜索活動や被害状況の把握、人命救助活動にドローンを活用することが模索されています。しかしながら、ドローンによって収集された情報の活用・伝達が十分にできているとは言えず、最新のデジタル技術が現場で有効利用されていない現状があります。


3．ドローン×AI×XRの融合による捜索支援システム「3rd-EYE」
このような背景を踏まえ、弊社は一連の情報処理を自動化することで効率的な情報共有を行うことのできる捜索活動支援システム「3rd-EYE」を開発いたしました。
本システムではドローン映像をAIで自動解析し、捜索対象（人間）の位置を特定、スマートグラスにその位置情報を空間表示します。また、捜索結果は指揮本部に設置される端末にも共有されるため、指揮命令者が指示を出す際にも利用することができます。
本システムにおいてスマートグラスを装着した隊員は、その視野の中でどこに捜索対象（人間）がいるのかを直感的に理解することができるようになります。これによって隊員間または指揮本部との意思疎通を正確に行うことができるようになり、救助活動の迅速化が期待できます。
 

運用の流れ：
①・② パイロットがドローンを（手動 or 自動）飛行させる
③　 指揮本部が映像、捜索結果、隊員位置を確認し、指揮する
④　 捜索部隊が指示をもとに捜索・救助を行う




【要救助者をドローンが自動検知。結果を即座に部隊へ配信】

ドローンで撮影した映像をAIがリアルタイム解析して人影を抽出します。捜索隊員は映像でその状態を確認しながら救助に向かうことができます。









【スマートグラスが直感的に要救助者の位置を教えてくれる】

 

表示をスマートグラスの現在位置と方位に連動させることで、要救助者が今見ている景色の中でどこにいるかが分かります。直感的な表示によって、隊員間の情報伝達のミスが無くなります。







【指揮本部用タブレットですべての情報を一元把握】

指揮本部に設置されるタブレット端末にはすべての情報が集約されます。タブレット端末には
・ドローンのリアルタイム映像表示機能
・ドローン・AIによる人影検出結果地図表示機能
・人による検知結果のダブルチェック機能
・隊員の現在位置・移動軌跡表示機能
が実装されており、現在の捜索状況を正確に知ることができます。また、地図上に”ピン”を設置することで、救助隊員のスマートグラスに目的地を指示することのできる「ピン打ち機能」が実装されています。これによって救助隊員を目的地へ正確に誘導することが可能となっています。


【地図表示機能（隊員の位置・移動軌跡表示】

 

地図には隊員の現在位置がリアルタイム表示されるので、別動隊の行動を常に知ることができます。また、一度捜索を行った場所がわかるため、同

 

 

 

場所を二度捜索するという事が無くなり効率的に捜索を行うことができるようになりました。







4．今回の成果
今回の実証試験では、実用化版「3rd-EYE」を消防組織による捜索活動訓練に組み込んで使用する実証実験を行いました。消防組織との度重なるヒアリングと実証実験の中で仕様と機能を最適化することで、これまでの指揮系統を崩すことなく効率良く捜索活動を行えることを確認できました。

実用化版の本システムでは、指揮本部に設置されるタブレット端末にすべての情報が集約され、部隊の指揮権者が要救助者その他の情報を取捨選択したうえで、各部隊に指示を出すことができるシステムとなっています。訓練では、 「あと２０メートル前方へ進め」などの指示が出され、従来の部隊指揮ではできなかったより具体的な指示ができるようになったことが確かめられました。


5．役割
茨城県において、ウィズコロナ時代における強靭かつ自律的な地域経済の構築を図るため、最先端デジタル技術を活用し、企業の生産性向上や新しい生活様式への対応など地域課題解決に向けた「DXイノベーション推進プロジェクト」を実施しています。2021年度当社が本プロジェクトの採択を受け、ドローン×AI×スマートグラスによる最先端の捜索支援システム「3rd-EYE」を実用化させました。

本プロジェクト進行するに当たり、実際の捜索現場で活動を行う消防組織の方から直接意見を聞き、その声を反映することを最重要視し、現場で活躍するものづくりを目指してきました。そこで茨城県西南消防本部のご協力のもと、合同訓練の実施、定期的な意見交換など本システムの完成に向けて連携して開発を進めてきたものです。


6．今後の予定
今後は「3rd-EYE」の普及を進めるとともに、消防組織の活動がより便利に行うことができるよう改良を進める予定です。

また、各種災害での利用の他、山岳遭難や徘徊老人の捜索、警備、害獣調査などにも本システムは応用可能となっています。








【会社概要】

株式会社ロックガレッジ
事業内容：ドローンハードウェア、ソフトウェア開発、ロボット制御開発、
システムアーキテクト
住所：茨城県古河市古河544－84
連絡先 [e-mail] 大畑 090-1229‐8306