専門家の知見を活かしたAI自動識別システムを開発し、数千頭のザトウクジラを尾びれの形状で識別することに成功

Diagence社、阪大サイバーメディアセンター、慶大、沖縄美ら島財団で実用化へ

ザトウクジラは、尾びれ腹側の模様や形状を利用して個体を識別できることが知られている。今回、株式会社Diagenceと大阪大学サイバーメディアセンターと慶應義塾大学は一般財団法人沖縄美ら島財団が30年以上にわたり収集してきた1850頭、約1万枚のザトウクジラの尾びれの写真を用いてクジラの個体を自動で識別できるAI技術および自動識別システムを開発した。本研究では、ザトウクジラの研究者の個体識別に関する知見を活用してAIアルゴリズム・システムを開発することで、撮影された尾びれの写真を入力すると、登録されている1850頭のクジラの尾びれの中から特徴が近い尾びれを有するクジラを順番にリストアップすることに成功した。すでに登録されているクジラであれば約89％が30頭内に正解個体がリストアップされ、約76％は正解個体が１位としてリストアップされた。

株式会社Diagenceと大阪大学サイバーメディアセンターと慶應義塾大学と沖縄美ら島財団の四者は、2022年2月6日〜8日に開催されるVISAPP2022 (INSTICC主催 17th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications：本年はオンライン開催)において、この成果を発表することをお知らせします[脚注１]。

本研究成果の特徴

• 数千頭規模の個体数でも人手によらず自動で一挙に識別することができる
• 模様のない（真っ黒や真っ白）尾びれのザトウクジラでも識別できる
• クジラの写真数が少ない場合や、天候条件や角度や距離などが異なる場合でも識別できる

背景と動機
北太平洋のザトウクジラは、冬季はハワイ、メキシコ、日本近海等の暖かい海域で交尾や、出産、子育てを行ない、夏季にアラスカ、アリューシャン列島や、ロシア等の冷たい海域で餌を食べて過ごす。また、かつて捕鯨の対象種として捕獲され、個体数が世界的に激減したため、現在、保全と観光資源との両立を目的とした基礎的な生態情報の把握が重要になっている。そのため、撮影された尾びれ写真をもとに個体を識別し、回避経路や集団構造等の分析が行われてきた。
ザトウクジラの尾びれは、先端がギザギザとした形状をしており、表面には点や線状のものも含め、白黒模様のある場合が多い（下図参照）。ザトウクジラの研究者らは、これらの特徴を頼りに、これまで肉眼で多大な時間と労力をかけて個体の識別作業を行なってきた。毎年400～500枚の新たな写真を撮影し、その識別作業には数ヶ月を要していた。コンピュータを使って自動化させたいニーズは世界中の研究者が持っており、有名なデータ分析コンペティションのKaggleでも題材として取り上げられているほどであるが、これまで実際に用いられているものはなかった。

 

 

ザトウクジラの尾びれ

 

課題と解決手段
沖縄美ら島財団では30年以上にわたりザトウクジラの調査を実施し、これまでに約１万枚の尾びれ写真を保有している。株式会社Diagenceと大阪大学サイバーメディアセンターと慶應義塾大学は、これらの写真データを活用しAIによる画像識別のための特徴検出手法と個体識別をするためのデータベース・システム開発の共同研究に取り組んだ。

本研究開発における課題は下記の通りである。

• 野生のクジラとの遭遇は稀であるため、これまでに識別できているクジラのうち、１頭あたりの写真の枚数が3枚以下だった個体が79%を占める。
• それらの写真も天候と太陽光のあたり具合、距離、角度、背景の波の様子など、撮影された条件がさまざまにばらついている。
• さらにクジラの尾びれは複雑な形状で、見る角度や動きによっても形が大きく変わって見える。それに合わせて表面の模様も見え方が変わる。
• 35％のクジラは真っ白か真っ黒で尾びれに模様がない。模様がある場合でも、白と黒の明確な境目はなく、ぼんやりとしている。

これらの課題に対して、下記の方法で解決を行った。

• 真っ白や真っ黒な尾びれのクジラも含めて全てのクジラ写真を対象とするため、先端のギザギザ形状を主な対象とした。
• それには上記のような複雑で撮影ごとにばらつく尾びれの形状をデータとして正確に抜き出す必要がある。そこで最初に、一般に柔軟性の高い判定が行える深層学習を用いて大まかな尾びれの形のマスクを作成した。次に画素レベルの図形処理手法であるGrabCutを行う際に、このマスクを用いて、尾びれとそれ以外の領域を指定することによって尾びれを正確に抜き出すことができた。
• 抜き出したギザギザ形状を用いて対象となる1000頭以上でも細かく区別ができることが必要だった。そこで規則性のない凹凸の解析に有効なWavelet変換を用いてギザギザ形状の特徴をベクトル化した。
• これまでに識別、登録されているクジラと特徴ベクトルの比較を行った。その際、写真によるばらつきが大きいため、識別は絶対値ではなくランキングとして上位からリストアップした。
• 白黒模様からの特徴量も抽出し補助的に用いた。

 

AIによるクジラ自動識別手法

結果
2016年に撮影された写真のうち過去に登録があるクジラの写真323枚について約89％が上位30位までに正しいクジラをランキングした。また約76％は正解が１位にランキングされた。
このように自動で多くの写真を一挙に扱うことができるため、季節によって広い海域を移動するザトウクジラの回避経路や集団構造の解明に有効なシステムとなった。

展望
株式会社Diagenceは、ザトウクジラを研究している世界の研究施設にこのシステムを普及させて、AI技術などの先進コンピュータ技術により自然科学研究の進展に貢献することを目指す。また、本研究では、ザトウクジラの専門家の知見や作業ノウハウをAIシステムに落とし込むことに成功したが、医療、スポーツ、報道などの分野でも専門家の人力による写真区別・識別作業が行われているため、これらの分野に対しての応用を目指したシステム・サービス開発を進めていく。
沖縄美ら島財団は、今後、同システムを活用しながら国内外の研究機関と協力し、季節によって北太平洋を広く回遊するザトウクジラの集団構造や回避経路の解明を目指す。


[脚注１]Yoshikawa, T.; Hida, M.; Lee, C.; Okabe, H.; Kobayashi, N.; Ozawa, S.; Saito, H.; Kan, M.; Date, S. and Shimojo, S. (2022). Identification of over One Thousand Individual Wild Humpback Whales using Fluke Photos.  In Proceedings of the 17th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications - Volume 4: VISAPP, ISBN 978-989-758-555-5, ISSN 2184-4321, pages 957-967.