NEC、複数のカメラ映像から広域の現場の作業行動を事前学習不要でデータ化できるAI技術を開発

～テキスト入力のみで作業を把握し、現場全体の最適化に貢献～

　NECは、複数のカメラでなければカバーできないような物流倉庫・工場や建設現場などの広い作業エリアで、複数の作業員の作業行動を、現場映像を用いた事前学習なしで認識し、データ化できるAI技術を開発しました。
　本技術は、産業現場に即座に導入できるため、これまで実現できていなかった作業現場全体の可視化を加速し、作業効率の向上、人的リソースの最適配分、ワークフローの適切化などに貢献します。NECは2026年度までに本技術の実用化を目指します。

　物流倉庫や工場、建設現場などの産業現場では人手不足が深刻化する一方で、人にしかできない作業が依然として多数存在します。限られた労働力を有効活用するために、作業状況の可視化による人員配置や業務プロセスの最適化が求められています。カメラ映像から作業行動を認識する技術はすでにありますが、現場における特定の作業行動を認識するためには、現場映像データの収集とAIモデルの学習といった事前準備に多くの時間や手間がかかっていました。

　また、多数のカメラを跨いで広い作業エリア全体の作業行動をデータ化するためには、映像中の複数の作業者をカメラ間で同定し、作業行動認識結果を作業者ごとに統合することが必要です。しかし、これまでの技術では、同一の作業服を着ている複数の作業者を正しく見分け、複数のカメラ間で誤りなく同一人物を同定し続けることが困難でした。

　今回NECが開発した技術の特長は以下の通りです。

1．テキスト入力だけで映像中の作業行動を認識できるため即日導入可能

　視覚言語モデル（VLM、注1）を活用し、事前の現場映像データの学習なしで、多種多様な作業行動を認識できるAIを開発しました。ピッキング作業に対しては「棚から荷物を取り出している」、台車運搬作業に対しては「台車を押して運んでいる」といった作業行動の説明テキストを入力するだけで認識できます。

　従来は、作業を認識させるために映像データの収集・正解付け（アノテーション）・AIモデル学習などに数週間程度の時間を要していました。また、人が触れたり操作したりする物体の特定が難しく、雑多な物体が混在している作業現場における映像から作業行動の認識が困難でした。

　本技術は、（A）各作業行動を説明するテキストをあらかじめVLMで解析し特徴量化、（B）カメラ映像から人とモノとの関係性を捉える独自AIモデル（注2）により、人が触れたり操作したりする物体を特定し、人と特定した物体の映像領域をVLMで特徴量化、そして（A）と（B）を比較・照合することで、テキストの入力のみでの作業行動の認識を実現します。

２．作業員ごとの移動と作業行動のデータ化で広域の現場全体の最適化に貢献

　複数のカメラを跨いで移動する作業員を服装など外観の特徴に頼ることなく識別し、現場全体で長時間に渡って作業員ごとの作業行動実績をデータ化できるため、広域の現場全体の最適化に貢献します。
　本技術は、各カメラ画像に映る人物の位置（２次元座標）から、デジタルツイン空間における人物の位置（３次元座標）を推定し、デジタルツイン上での人物の位置や移動パタンの近さを測ることで、複数カメラ間で同一人物を高精度に同定可能です。さらに、人物の位置推定に必要となるカメラパラメータ（カメラの位置や姿勢）を自動で推定するため、現場導入の手間を軽減可能です。

　本技術のデモ動画は以下のURLからご覧いただけます。
URL：https://www.nec.com/en/press/202508/global_20250827_01.html

以上

(注1) VLM：Vision and Language Model

(注2) 映像から複数の人物の多種多様な作業内容を高精度に認識する技術を開発

https://jpn.nec.com/press/202211/20221128_01.html

＜本件に関するお客様からのお問い合わせ先＞

NEC　グローバルイノベーション戦略統括部

https://jpn.nec.com/cgi-bin/cs/opinion_form4.cgi