【岡山大学】AIを用いた果物・野菜収穫用空間センサーの開発に成功－照度等の周辺環境の変化に影響されずに位置・寸法計測が可能に－

国立大学法人岡山大学

2023年11月11日 05時48分

2023（令和5）年 11月 11日
国立大学法人岡山大学
https://www.okayama-u.ac.jp/

＜発表のポイント＞

農業用ロボットには、屋外の光環境が変化しても計測結果が変化しない計測特性が求められます。
一方、屋外用ロボットは、空間計測（対象物の位置・寸法をリモート計測すること）時の周囲環境（晴雨、雲の移動、風による木漏れ日など）の変化や、太陽の日周運動による角度変化、季節による太陽高度の変化などの時変光環境外乱の影響を大きく受けるため、屋外空間計測の高精度化は困難な課題でした。
複眼カメラには、左右カメラ画像情報の比較に基づく画像処理時に時変光環境外乱の影響を受ない、という特徴があります。これは、撮影時の光環境状況が左右カメラの画像に同時にかつ同等に反映されるためです。この複眼の特徴を利用することで、時変光環境外乱に影響されない画像処理が可能となり、屋外の照度変化に影響されない空間計測が可能になります。
今回、計測対象物の写真を事前に登録しておくことで、登録写真の変更のみでどんな対象物でも位置と寸法の計測が可能な計測システムを構築しました。
また、任意対象物の位置・寸法計測装置を小型化することで、移動ロボットのハンド部への取り付けが可能（ハンドアイシステムと呼ばれる）となり、ロボットの動きによってカメラ視点を対象物（野菜・果物など）の近くに移動させて計測できることから、高精度な空間計測ができ、作物を正確に把持・収穫する農業用ロボットの開発が可能になりました。

◆概要
　国立大学法人岡山大学（本部：岡山市北区、学長：那須保友）の岡山大学発ベンチャーの株式会社ビジュアルサーボ（岡山大学の見浪護特命教授（研究）が起業）は、ステレオビジョンを用いた空間計測について研究を続け、任意対象物の3次元位置姿勢を計測するコンピュータビジョン構築に成功し、泳ぐ魚の寸法計測などを行ってきました。

　この画像計測方法は、左右複眼カメラに同じ対象物が写っていれば、その位置・姿勢・寸法の計測が可能であるという特徴があり、そのアイデアは、ビジュアルサーボ所有の特許6784991、6760656で権利化されています。今回、AI手法を用いた画像処理方法により、野菜や果物などの任意不定形対象物でも、位置・寸法の計測が可能となりました。

　農業用ロボットは、屋外の光環境が変化しても計測結果が変化しない計測特性が求められます。性能を確認するために野菜、果物、日用品を16種用意し、寸法を実測すると共に、屋外の日向（照度約52,000ルクス）および日陰（1,530ルクス）の光環境で対象物の寸法と3次元位置を計測し、日向と日陰の照度差に影響されない位置・寸法の計測を実証しました。

　上記の結果より、

　（1）果物・野菜・日用品の寸法と3次元位置を屋外で非接触での空間計測が可能なこと

　（2）寸法計測結果は、屋外の日向・日陰の照度環境に影響されないこと

　（3）補正後の寸法平均誤差は1[mm]以下、標準偏差は3[mm]程度であること

　が分かりました。
　

　今後、果物・野菜収穫用ロボットの開発を、株式会社SEC（本社：岡山市南区内尾290、松田篤郎代表取締役）と共同で進める予定です。収穫時に果物の熟度などの計測・寸法に基づく仕分け作業なども可能な多機能ロボットの開発を進め、2023年度中に農場でのフィールドテストを開始する予定です。

農業用ロボット搭載用の複眼ハンドアイカメラ。カメラ部から対象物（柿)までの位置と柿の寸法測定し、その結果をもとに対象物にハンド部を接近させ、把持・収穫します。計測と接近を繰り返すことで、至近距離からの計測が可能となり高精度なロボット収穫作業が可能です

実測した寸法と、日向および日陰での3次元位置測定の結果。測定結果は照度環境の影響を受けていない

果樹葉を模擬した背景条件での、実寸と日向および日陰での3次元位置測定の結果。果物が果樹の葉に囲まれた状態で背景が複雑な状態であっても、誤差はわずかであり、位置・寸法の計測が可能であることを示している

◆詳しい研究内容について

　AIを用いた果物・野菜収穫用空間センサーの開発に成功 ―照度等の周辺環境の変化に影響されずに位置・寸法計測が可能に―

　https://www.okayama-u.ac.jp/up_load_files/press_r5/press20231109-2.pdf

◆参考
・株式会社ビジュアルサーボ
　http://visual-servo.com/index.html

・岡山大学大学院環境生命自然科学研究科
　https://www.elst.okayama-u.ac.jp/

・岡山大学イノベーション・マネジメント・コア（IMaC）ベンチャー支援フィールド

　https://venture.okayama-u.ac.jp/
・岡山大学研究推進機構
　https://www.orsd.okayama-u.ac.jp/

・岡大発ベンチャー（称号付与企業一覧）

　https://venture.okayama-u.ac.jp/title_company_list/

◆参考情報
・【岡山大学】AI技術の応用により、泳ぐ錦鯉の寸法自動計測方法開発に成功！－強い感染力を持つコイヘルペスウイルス（KHV）の感染防止にも効果－

　https://prtimes.jp/main/html/rd/p/000001722.000072793.html

・【岡山大学】サケの稚魚の夜間自動計測実証実験に成功－照明装置付き複眼水中カメラを用いて自動計測が可能に－

　https://prtimes.jp/main/html/rd/p/000001385.000072793.html

・【岡山大学】サケ稚魚のリモート自動計測実証実験に成功－AIを用いた空間計測技術で泳ぐ魚の自動計測が可能に－
　https://prtimes.jp/main/html/rd/p/000001246.000072793.html
・【岡山大学】AIを用いたステレオビジョン空間計測技術で泳ぐ魚の計測に成功－水槽内を泳ぐメダカなどの非接触寸法計測が可能－
　https://prtimes.jp/main/html/rd/p/000001036.000072793.html
・【岡山大学】任意対象物を発見追従しその位置姿勢を計測する空間認識装置を発売－ステレオビジョンを用いた動物の空間認識知能をAIで実現－
　https://prtimes.jp/main/html/rd/p/000000465.000072793.html
・【岡山大学】令和3年度岡山大学発ベンチャー称号授与式を挙行しました
　https://prtimes.jp/main/html/rd/p/000000491.000072793.html

岡山大学津島キャンパス（岡山市北区）

◆本件お問い合わせ先
　岡山大学学術研究院環境生命自然科学学域（工）特命教授　見浪護
　岡山大学発ベンチャービジュアルサーボ
　E-mail：minami-m◎visual-servo.com
　　　　　minami-m◎cc.okayama-u.ac.jp
　　　　　※ ◎を@に置き換えて下さい
　http://visual-servo.com/index.html

＜岡山大学のスタートアップ・ベンチャーに関するお問い合わせ先＞

　岡山大学イノベーション・マネジメント・コア（IMaC）ベンチャー支援フィールド
　〒700-8530 岡山県岡山市北区津島中1-1-1 岡山大学津島キャンパス本部棟1階

　TEL：086-251-7112
　E-mail：start-up1◎adm.okayama-u.ac.jp

　https://venture.okayama-u.ac.jp/

＜岡山大学の産学連携などに関するお問い合わせ先＞
　岡山大学研究推進機構産学官連携本部
　〒700-8530 岡山県岡山市北区津島中1丁目1番1号岡山大学津島キャンパス本部棟1階
　E-mail：sangaku◎okayama-u.ac.jp
　　 ※◎を@に置き換えて下さい。
　TEL: 086-251-8463
　https://www.orsd.okayama-u.ac.jp/

　岡山大学メディア「OTD」（アプリ）：https://prtimes.jp/main/html/rd/p/000000011.000072793.html
　岡山大学メディア「OTD」（ウェブ）：https://prtimes.jp/main/html/rd/p/000000215.000072793.html

　岡山大学SDGsホームページ：https://sdgs.okayama-u.ac.jp/

　岡山大学SDGs～地域社会の持続可能性を考える（YouTube）：https://youtu.be/Qdqjy4mw4ik

　岡山大学Image Movie (YouTube)：https://youtu.be/pKMHm4XJLtw

「岡大TV」(YouTube)：https://www.youtube.com/channel/UCi4hPHf_jZ1FXqJfsacUqaw

　産学共創活動「岡山大学オープンイノベーションチャレンジ」2023年11月期共創活動パートナー募集中：
　https://prtimes.jp/main/html/rd/p/000001761.000072793.html

　岡山大学「THEインパクトランキング2021」総合ランキング世界トップ200位以内、国内同列1位!!
　https://prtimes.jp/main/html/rd/p/000000070.000072793.html
　岡山大学『大学ブランド・イメージ調査2021～2022』「SDGsに積極的な大学」中国・四国１位!!
　https://prtimes.jp/main/html/rd/p/000000373.000072793.html
　岡山大学『企業の人事担当者から見た大学イメージ調査2022年度版』中国・四国１位!!
　https://prtimes.jp/main/html/rd/p/000000122.000072793.html