熟練者の作業をロボットへ — 模倣学習を活用した技能継承ロボット技術の開発を開始

動作だけでなく「言葉」も学習。VLMと模倣学習を組み合わせ、熟練者の技能と判断をPhysical AIとしてロボットへ継承

株式会社アトラックラボ（所在地：埼玉県入間郡三芳町藤久保16-37、代表取締役：伊豆 智幸）は、熟練作業者の動作や判断をロボットに学習させる「模倣学習（Imitation Learning）」とVLM（Vision Language Model）を組み合わせた、技能継承ロボット技術の開発を開始しました。
製造、建設、農業などの現場には、長年の経験によって身につけた「力加減」「工具の当て方」「対象物の状態に合わせた動かし方」など、マニュアルや数値だけでは伝えることが難しい技能が数多く存在します。
アトラックラボでは、熟練者の動作に加えて、作業中の発話や判断理由も同時に記録し、学習データとして活用します。
「ここでは少し力を抜く」「この角度から工具を当てる」「ここまで入ったら少し戻して位置を合わせる」といった熟練者の言葉と、そのとき実際に行った動作、カメラ映像、センサーデータを関連付けることで、「どう動いたか」だけでなく「何を見て、なぜその動作をしたのか」までロボットに学習させます。

さらに、ロボットが実際の作業やシミュレーションで迷った場面に対して熟練者が適切な行動を追加で教える、DAgger（Dataset Aggregation）の考え方を取り入れます。実演を一度学習させて終わるのではなく、失敗しやすい状況や未知の状況を新たな教師データとして継続的に蓄積し、現場への適応力を高めていきます。

熟練者の「動き」と「言葉」を一緒に学ぶ

熟練者の「動き」と「言葉」を一緒に学ぶ

模倣学習は、人が実際に行った作業を教師データとして、ロボットに作業を学習させる技術です。
熟練者がロボットアームなどを操作して作業を実演し、その際のカメラ映像、関節位置、姿勢、速度、力・トルクなどを記録します。
さらに、作業中の熟練者の音声も同時に記録します。

たとえば、
「最初は軽く当てて位置を決める」
「抵抗が増えたら力を抜きながら回す」
「この角度になったら工具を少し寝かせる」
といった言葉には、動作軌跡だけでは取得しにくい熟練者の経験や作業のコツが含まれています。

これらの発話を映像、ロボットの動作、力覚などのデータと関連付け、視覚・動作・力覚・言語を組み合わせた学習データとして蓄積します。

これにより、ロボットに動作そのものを模倣させるだけでなく、その動作が必要となる条件や、熟練者が意識しているポイントも含めて学習させることを目指します。

VLMで「何を見ながら作業しているか」を捉える

熟練作業では、決められた動作を繰り返しているだけではありません。
対象物の位置、形状、向き、作業の進み具合などを見ながら、その都度、動作や力加減を変えています。
本技術では、模倣学習にVLMを組み合わせます。VLMによってカメラ映像から作業対象やその状態を捉え、その情報を熟練者の言葉、ロボットの動作、力覚データと関連付けます。

これにより、熟練作業者による一連の作業を、

見る → 判断する → 動く

という流れで学習データとして扱います。

単純に熟練者の動作軌跡を再現するのではなく、「対象物がこの状態だから、この動作を選ぶ」という、作業対象の状態と判断、動作の関係まで学習することを特徴としています。

ロボットが迷う場面を、熟練者の追加指導から学習

熟練者による実演だけでは、対象物の位置ずれや形状の違い、作業途中で発生する予期しない変化など、現場で起こり得るすべての状況をあらかじめ網羅することは困難です。

また、ロボットは小さな動作のずれによって、熟練者の実演データには含まれていない状態に入ることがあります。そのような状態から適切に作業を立て直すためには、正常な作業の実演だけでなく、ずれや失敗が生じた際の修正方法も学ぶ必要があります。

そこで本技術では、模倣学習の手法の一つであるDAggerを活用します。

まず、熟練者による実演データをもとにロボットを学習させます。その後、ロボットが実際の作業またはシミュレーションを行い、そこで遭遇した状況に対して、熟練者が適切な動作や判断を追加で示します。

ロボットが迷った場面や失敗しやすい場面を新たな教師データとして蓄積し、再学習を繰り返すことで、対応可能な状況を段階的に広げます。

追加指導の際にも、熟練者が選んだ修正動作だけでなく、

「対象物がずれているため、工具を当てる角度を変える」

「抵抗が強いため、一度力を抜いて位置を合わせ直す」

「挿入位置が浅いため、押し込む前に姿勢を修正する」

といった判断理由を言葉として記録します。

VLMが捉えた作業対象の状態と、熟練者による修正動作、力覚データ、言葉による説明を関連付けることで、ロボットが実演どおりに動くだけでなく、状況の変化に応じて動作を修正できる技術の実現を目指します。

「言葉では伝えにくい技能」と「言葉だから残せるコツ」を一緒に記録

熟練技能には、身体で覚えている動作と、経験によって身につけた判断やコツの両方があります。

工具を動かす軌跡や力加減は、動作データや力覚データとして記録できます。

一方で、「ここで一度力を抜く」「この位置を見ながら合わせる」「最初から強く押さない」といった作業の意図は、熟練者自身の言葉によって記録することで、より明確なデータとして残すことができます。

アトラックラボでは、カメラ映像、VLMによる視覚情報、ロボットの動作、力覚、熟練者の言葉を一つの学習データとして扱います。

さらに、DAggerによって、ロボットが迷った状況と、その状況に対する熟練者の修正方法を継続的に蓄積します。

これにより、熟練者の「見る・考える・動く」に加え、「ずれに気づき、立て直す」技能までロボットへ継承することを目指します。

代表取締役　伊豆智幸　コメント

「熟練者の技能は、手の動きだけを記録しても十分には残せません。作業をしている人は、対象物を見ながら『ここでは少し力を抜く』『この角度から入れたほうがいい』といった判断を常にしています。

そこで、熟練者が見ているものをVLMで捉え、実際の動作や力加減に加えて、作業中に考えていることも言葉として記録します。

また、熟練者の実演を一度学習するだけでは、現場で起こるすべての状況に対応することはできません。ロボットが迷った場面や失敗しやすい場面に対して、熟練者が正しい動作と判断理由を追加で教え、それを新たな学習データとして蓄積する仕組みも取り入れます。

言葉では伝えにくい身体的な技能は動作から、経験による判断やコツは言葉から、作業対象の状態はVLMから、そして予期しない状況からの立て直し方は熟練者の追加指導から学ぶ。この仕組みによって、より現場に近い技能継承が可能になると考えています。

人が長い時間をかけて身につけた技能と知識を、Physical AIとしてロボットへ残していく。アトラックラボは、現場を知っているからこそ作れる技能継承ロボットを目指します。」

株式会社アトラックラボについて

株式会社アトラックラボは、UGV、UAV、USVなどの無人機およびロボットシステムの研究開発を行っています。ROS 2、画像認識、VLM／LLM、LiDAR SLAM、遠隔通信などの技術を組み合わせ、点検・調査・農業・災害対応など、さまざまな現場で利用できるロボットシステムを開発しています。

会社名：株式会社アトラックラボ
所在地：埼玉県入間郡三芳町藤久保16-37
代表者：代表取締役　伊豆智幸

事業内容：フィールドロボットのシステムインテグレーション、AI活用ロボットの開発
URL：https://attraclab.com/

本件に関するお問い合わせ先

株式会社アトラックラボ
E-mail：[e-mail]