芝浦工業大学× 株式会社LiNew　LiDAR共同研究の技術研究報告書を3月1日の電子情報通信学会SeMI研究会にて発表

• 共同研究の概要

LiDARと環境センサを併用し、芝浦工業大学に通う学生がカリキュラムを受講している時の姿勢や周囲の環境・心拍数などの身体の状態・動向を収集いたしました。行動周期、気温や気圧などによって学修効果の変化を測定することで、仕事や学習の生産性を向上するシステムの生成を目指しました。

今回SeMI研究会で発表する成果は、ある一人の学生から計700秒取得したデータ(=LiDARのデータとして7000フレーム)で深層学習を行い、他の一人の学生のデータに適用し、高精度の状態検知に成功しました。また、学修シナリオを想定した20名程度を対象に実施した実験により、2〜12分、最長で30分以上のLiDARデータおよび心拍データを取得しました。今後、これらのデータを用いて、生産性を向上するシステムの改良に取り組みます。
 

• 共同研究の背景

LiNewでは世の中のITエンジニア不足を解決するために未経験からエンジニア人材としてシステム開発が行えるようになるサービス「educure（エドゥキュア)」※３を提供しています。educureは人材派遣会社向けリスキリング（再教育）サービスで、2022年12月の段階で全国92社に導入いただき、186名のエンジニアを輩出しております。

芝浦工業大学新熊教授は、良品計画社や大阪メトロ アドエラ社などの大手企業とIoT、AIに関する共同研究を行うなど、先進的な取り組みをしています。LiNewの保有しているエンジニア育成ノウハウに、芝浦工業大学のセンシングとAI解析技術を組み合わせることで、システム開発時のパフォーマンスを向上させる手法の創出を目指しました。
 

• 研究成果の概要

センサとしてLiDARを用い、3次元データから作業中の人の状態を自動検知する深層学習AIのシステムを開発しました。シナリオとしてノートパソコンを用いた作業を想定し、コンテンツ閲覧中/マウス操作中/キーボードタイピング中/タッチパッド操作中の4状態を深層学習AIに自動検知させ、97%の精度を達成しました。実験では、小型(9.7cmX6.4cmX6.3cm)で安価なLIDARセンサ2機を用いました。LiDARのデータはレーザーが物体で反射した空間座標の集合(点群データと呼ばれる)であり、カメラ画像データと形式が大きく異なります。
点群データに対応した深層学習AIの研究開発はまだ発展途上で、自動運転のための車両検知や歩行者検知が主眼に置かれているため、人のパフォーマンスに着目した本成果は世界的にも極めて先進的です。歩行者や、バイク、乗用車、トラックは大きさや形状がはっきり異なるのに対し、今回の状態は手の位置や体の傾きといった微細な違いしかないため、従来は分類が困難でした。

本研究では、点群データからノイズを除去したり二次特徴を付与したりすることで、上記の高い精度を達成することに成功しました。

※1：LiDAR
Light Detection And Rangingの略称でライダーと読みます。人に無害なレーザー光を対象物に照射し、周囲の人物との位置や距離を点の集まりとして計測、集計、分析します。空間内の人物の顔などの画像・映像は認識せず、プライバシーを侵害することなく高精度な検知が可能な光センサー技術です。LiDARは、もともと航空機のレーダーや気象観測に使用されていました。現在は、自動車の障害物や周辺車両の検出、スマートフォンのカメラなどと組み合わせて写真撮影で効果的にピントをぼかすアシストや、VR（仮想現実）・AR（拡張現実）のための技術として一部利用されています。

 ※2：SeMI研究会
2019年4月に設立。センサネットワークとモバイルインテリジェンス研究専門委員会（Sensor Networks and Mobile Intelligence, SeMI）は，知的環境とセンサネットワーク研究専門委員会（ASN研専）
 
※3：educure
https://lp.educure.jp/
 

• 新熊 亮一教授 プロフィール

芝浦工業大学情報工学科教授
2008～2009年 米国WINLAB客員研究員
2011〜2021年 京都大学情報学研究科准教授
2018〜2022年 STさきがけ研究員
2021年〜 KDDI総合研究所招聘研究員
大学発スタートアップ創業者および民間企業数社の技術顧問としての産業応用推進
米国IEEE Senior会員、電子情報通信学会Fellow
博士(工学)
 

 

• 会社概要

株式会社LiNew

人材教育業界のDXを推進するシステム開発会社です。HRtech領域を中心にサービスを2019年から展開し様々なサービスをローンチしてきました。
クライアントの課題解決・拡大に向けたコンサルティングサービスやソリューションの提供、プロダクトの企画・開発・運営を行なっています。やりたいことを追求し続けるチームとして開発を行い、世の中にないものを創造していきます。

代表者：西本 弘昌・井上 陽介
設立：2019年4月11日
事業内容： コンサルティング/システム開発、受託開発/自社製品販売/教育・研修/アウトソーシング
URL：https://linew.co.jp/