病理AI開発/深層学習（Deep Learning）を高精度に高速化する転移学習（Transfer Learning）の基盤技術の創出に成功

デジタル病理支援ソリューション「PidPort」を提供するメドメイン株式会社 ( 本社：福岡県福岡市、代表取締役CEO： 飯塚 統、以下「メドメイン」)は、Batch norm parameterを調整することで、効率的に転移学習を行うことができることを明らかにし、Deep Learning（深層学習）における基盤技術の創出に成功しました。

■本研究成果の概要
転移学習（Transfer Learning）において、Batch Normalization layerのうち、学習可能な重み（weight）の「ScaleとCenter」のみを微調整するだけで、すべての重み（weight）を微調整した時と同様の精度が得られることが判明し、Deep Learningの高速化が可能になりました。

■本研究の背景
転移学習（Transfer Learning）とは、任意の領域で学習したモデルを別の領域に応用し、効率的に学習させる方法のことです。従来の方法では、深層学習（Deep Learning）を完了させるまでに、まとまった時間と費用を要していましたが、転移学習を行うことで、学習時間の短縮や必要なデータ量の削減など、費用対効果の得られた学習を行うことが可能になります。
Batch Normalizationは2015年に提唱されました。アクティベーションが広がりのある分布になるようにすることで勾配消失による学習停滞を防ぐ手法で、Batch Normalizationには、学習高速化、過学習抑制、初期値の影響を抑制など利点が数多くあります。Batch Normalizationをどのタイミングで行うかについては、多くの研究や議論がされていますが、活性化関数の直前あるいは、直後で行うことが主流とされています。また、病理画像をはじめとする医用画像に深層学習を適用する際には、ImageNetからの転移学習が有力な手法です。
今回の研究の目的は、医用画像を効率的に深層学習させる手段として転移学習を応用する場合、Batch Normalizationおよびパラメータ調整の重要性について基礎的な視点から研究し、技術開発に応用できる知見を得ることにあります。

■本研究の内容と成果
本研究では、医用画像の転移学習において、公開データセットを用いることで、Batch norm layerのAffine parameterの影響を確認しました。

その結果、「1．Batch Norm Affine parameterを微調整するだけで、すべてのパラメータを微調整した場合と同等の精度が得られること」、「2．微調整することで、モデルを特徴抽出器として用いるよりも良い精度が得られること」、「3．ランダムな重みを用いてBatch Norm parameterのみを学習させることで、十分な精度が得られること」が判明しました。
これにより、学習済みモデルを効率的に転移学習させることで、高精度かつ迅速に深層学習モデルの開発ができる方途を見出すことができました。今回の基礎的な技術開発研究を生かし、今後の深層学習モデルの開発に応用してまいります。
また、本研究の内容は、2021年7月9日に、国際学会であるMedical Imaging with Deep Learning（MIDL2021）(https://2021.midl.io/ )において、「Transfer Learning and Domain Adaptation」のセッションで口頭発表されます。

 

 

■原著論文（WEB上での事前公開）
▼論文タイトル：Partial transfusion: on the expressive influence of trainable batch norm parameters for transfer learning　 (https://openreview.net/forum?id=TjwDWRdfZpg )
▼日本語訳：転移学習（Transfer Learning）におけるBatch Normalizationの理解と技術開発

■著者・所属
＜メドメイン株式会社＞
常木 雅之、Fahdi Kanavati

■会社概要
【会社名】メドメイン株式会社 (Medmain Inc.)
※経済産業省 J-START UP 選出企業　 https://www.j-startup.go.jp/startups/
【設立日】2018年1月11日
【事業内容】医療ソフトウェア・クラウドサービスの企画・開発・運営および販売
【代表取締役/CEO】飯塚 統
【所在地】[東京オフィス] 東京都港区南青山2-10-11 A青山ビル２F / [福岡オフィス] 福岡県福岡市中央区赤坂2-4−5 シャトレサクシーズ104

■各種関連サイト
【コーポレートサイト】https://medmain.com/
【プロダクトサイト】https://medmain.com/products
- デジタル病理支援ソリューション「PidPort」
-「Imaging Center」～病理標本の高品質デジタル化サービス～