国際建設ロボットシンポジウム「The 37th International Symposium on Automation and　Robotics in Construction」にて論文採択

～建設機械の自動操縦実現に向け強化学習の有効性と学習時間短縮手法について研究成果を発表～

株式会社電通国際情報サービス(本社：東京都港区、代表取締役社長：名和 亮一、以下ISID)は、株式会社アラヤ（本社：東京都港区、代表取締役：金井 良太）およびCM Labs Simulations（本社：カナダ・ケベック州モントリオール、President and CEO : Robert Weldon、以下CM Labs）との共著論文「Simulation-based Reinforcement Learning Approach towards Construction Machine Automation」が、国際建設ロボット学会※1開催の国際シンポジウム「The 37th International Symposium on Automation and Robotics in Construction (ISARC2020)」に採択されたことをお知らせいたします。

ISARC は、国際建設ロボット学会が、建設分野におけるロボット技術の研究や導入効果などに関する情報交流を目的 に 1984 年から毎年開催している国際シンポジウムで、今回が 37 回目の開催となります。ISID、アラヤ、CM Labs の 3 社 は、このたび採択された本論文の成果を、本日 2020 年 10 月 27 日および 28 日にオンライン開催される「ISARC2020」で 発表します。

■研究背景■ 
ISIDとアラヤは、かねてより様々な産業分野におけるAIの応用研究に共同で取り組んでいます。ISIDの主要事業領域の一つである機械設計分野においても、建設機械の安全で生産性の高い自動操縦（自動化）を実現するため、研究を続けています。2020年2月には、建設機械の自動化開発に取り組む建機メーカーを対象に、CM Labsが提供する機械操作の高速シミュレーター「Vortex Studio※2」の導入支援と、熟練操縦者の動きを自ら学習するAIアルゴリズムの開発・実装を一連のサービスとして提供開始しました。今回の論文は、Vortex Studioで再現した工事現場環境と機械の仮想プロトタイプを用いた強化学習※3の有効性検証に関する研究成果の一部となります。

■論文研究の概要■ 
今回の論文では、建設機械の自動化に向けた「強化学習を活用した自動操縦アルゴリズムの有効性検証」と「強化学習における学習時間短縮手法に関する評価」に関する研究成果を発表しました。

1.強化学習を活用した自動操縦アルゴリズムの有効性検証
「一定時間内にクレーン車の吊荷の揺れを止めるタスク」と「一定量以上の土を油圧ショベルで掘削するタスク」という2つのタスクを設定し、それぞれのタスクについてVortex Studio上で環境を再現し、強化学習を用いたシミュレーションを実施しました。いずれのタスクも失敗を繰り返しながら少しずつ学習を重ね、目標をクリアできたことから、強化学習を活用した当アルゴリズムは有効であると実証できました。

◆シミュレーション実行画面：左はクレーン車による吊荷の揺れ止めタスク。右は油圧ショベルによる土の掘削タスク。

2.強化学習における学習時間短縮手法に関する評価
学習時間を短縮する３つの手法(報酬関数の設計、模倣学習による事前学習、フレームスキップ率の変更)について有効性を評価しました。タスクやシーンと手法の組み合わせにより、学習時間の短縮効果が違うことを示し、タスクやシーンの特性に合わせ最良の手法を探ることの重要性を改めて示唆しました。

今後は、さらに難易度の高いタスクや別の建設機械のプロトタイプを用いた検証を継続することにより、当アルゴリズムの改良を行い、実際の建設機械における自動化の実現を目指してまいります。
 
※1国際建設ロボット学会：The International Association for Automation and Robotics in Construction (IAARC）。建設における自動化とロボット工学の進歩に特化した非営利のグローバル組織です。詳細は公式WEBサイト（https://www.iaarc.org/） をご覧ください。
※2Vortex Studio：CM Labsが開発・提供する機械操作のシミュレーターソフトウエアです。計算効率の高いアルゴリズムを用い、機構運動/ケーブル変形/土の掘削を含む作業のシミュレーションを高速で行うことができます。建機、海運、防衛等の分野で30年以上の利用実績があり、世界中で100社を超える企業に採用されています。ISIDは2017年にVortex Studioの取り扱いを開始し、代理店としてVortex Studioとその活用技術を提供、顧客企業における機械操作制御の革新を支援しています。
※3強化学習：機械学習の手法の１つ。単純な正解・不正解ではなく、将来的な価値を最大化するような行動を試行錯誤によって学習する。

＊本リリースに記載された会社名・商品名は、それぞれ各社の商標または登録商標です。

■関連プレスリリース■
・ ISID とアラヤ、深層強化学習による建機の自動化開発支援サービスで業務提携～高速シミュレーターに熟練操縦者の動 きを学習する AI を実装～ （2020 年 2 月 20 日）
https://www.isid.co.jp/news/release/2020/0220.html 

■電通国際情報サービス（ISID）について
ISIDは、「HUMANOLOGY for the future～人とテクノロジーで、その先をつくる。～」をビジョンに、社会や企業のデジタルトランスフォーメーションを、確かな技術力と創造力で支援しています。金融、製造、ビジネスソリューション、コミュニケーションITの4領域で培ったソリューションの提供に加え、テクノロジーや業界、企業、地域の枠を超えた「X Innovation（クロスイノベーション）」を推進し、顧客、生活者、社会の進化と共存に寄与するソリューションを生み出し続けます。詳細は、公式WEBサイトをご覧ください。
https://www.isid.co.jp/

■アラヤについて
アラヤは「すべてのモノに AI を宿らせる」というビジョンのもと、最先端の AI 技術を開発・提供しています。具体的には、「ディープラーニング」を用いた画像認識、AI を圧縮しデバイスへの搭載を実現する「エッジ AI」、また、ロボットなどが自律的に動く「自律 AI」の各分野で技術開発を進めています。
https://www.araya.org/

■CM Labs Simulationsについて
CM Labs Simulationsは、カナダ・ケベック州モントリオールに本社を置き、建設業界向けにシミュレーション技術を提供しています。Vortex Studioは、同社が開発・提供する機械操作のシミュレーターソフトウエアです。
https://www.cm-labs.com/