【久留米高専】学生の研究が画像認識精度の向上に寄与

畳み込みニューラルネットワーク（CNN）の認識精度を向上

独立行政法人国立高等専門学校機構

2023年3月17日 09時00分

独立行政法人国立高等専門学校機構　久留米工業高等専門学校（福岡県久留米市、校長：松村　晶　以下「久留米高専」）の機械・電気システム工学専攻科２年生の與田悟史さん（写真１）は、指導教員である黒木祥光教授（久留米高専制御情報工学科）のもと、AIが画像分析を行うための学習手法の一つである「畳み込みニューラルネットワーク（CNN: Convolutional Neural Network　以下「CNN」）」の研究をしています。與田さんの行った研究により、CNNを用いた画像認識精度の向上が実現しました。與田さんの本研究成果は、国際会議ICIIBMS（International Conference on Intelligent Informatics and BioMedical Sciences）2022において、『Student Best Paper Award』を受賞しています。

写真1　 Student Best Paper Awardを受賞した與田悟史さん

ポイント

・画像認識において、畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）の畳み込みフィルタの初期値に、畳み込みスパース表現における辞書フィルタを用いる手法を提案しました。
・提案した辞書フィルタはCNNと異なり、少ない学習用画像でも作成することができるため、特に学習画像枚数が少ない場合でも高い分類精度を達成しました。

背景

　画像認識において、CNNは他の手法を圧倒した画像認識精度を誇っていることが知られています。CNNのこの高い画像認識能力は、画像の特徴を持つフィルタによって構成される畳み込み層を導入することにより実現しています。CNNがうまく学習を行うためには、適切な学習パラメータの初期値を設定する必要があり、Xavierの初期値やHeの初期値を用いたパラメータの初期化手法が提案されています。
　今回の研究では、黒木教授の研究室で研究されている畳み込みスパース表現と呼ばれる画像の近似表現手法を用いてCNNのパラメータの初期値を設定しました。提案手法では、畳み込みスパース表現における辞書フィルタがCNNの畳み込みフィルタと同様に画像の特徴を持つことに着目し、畳み込みスパース表現の辞書フィルタをCNNの畳み込みフィルタの初期値に設定しCNNの精度向上を目指しました。

畳み込みスパース表現

　畳み込みスパース表現は、画像の特徴を表す辞書フィルタと辞書フィルタの分布を表す係数マップとの畳み込み和によって画像を近似表現する手法です。（図１）

（図１）畳み込みスパース表現のイメージ図

　畳み込みスパース表現における辞書フィルタと係数マップを求めるために図2に示される最適化問題を解くことを畳み込み辞書学習といいます。ここで誤差項にL2ノルムではなくL1ノルムを用いることにより外れ値に対して頑健な畳み込み辞書学習を行うことができ、より画像の特徴を持った辞書フィルタを作ることができます。

（図2）　L1誤差項を用いた畳み込み辞書学習

実験

　実験では、2層の畳み込み層を持つ小さなCNNを用いてデータセットCIFAR-10のクラス分類を行い、畳み込みフィルタの初期化方法の違いによる分類精度を比較しました。
　実験の結果、CNNの学習枚数が少ない場合にL1誤差項を用いた畳み込み辞書学習によって初期値の計算を行ったCNNの方が、Xavierの初期値やL2誤差項を用いた畳み込み辞書学習によって初期化を行ったCNNよりも高い分類精度を達成しました。（図３）（図４）

（図3）学習用画像の枚数に対する分類精度（左）、少数の学習用画像に対する分類精度（右）

図4　L1誤差項を用いた畳み込み辞書学習によって得られた畳み込みフィルタの初期値：１層目（左）、２層目（右）

今後の展望

　今回の実験で用いたデータセットの画像サイズは32×32画素と小さいため、より大きな画素数を持つ画像データセットでの検証を行い提案手法の実用性を確認することを予定しています。また、CNNの学習中の畳み込みフィルタの変化について調査を行い、提案手法による初期化の影響も明らかにしたいと考えています。本研究の成果が画像認識を始めとするAIの発展に寄与することを期待しています。

久留米工業高等専門学校について

　本校は５学科からなる本科と２専攻からなる専攻科を備えた工業高等専門学校で、からくり儀右衛門と呼ばれた発明家・田中久重翁の出身地及びゴム産業の発祥の地である久留米に昭和３９年に創設されました。自立の精神と創造性に富み、広い視野と豊かな心を兼ね備えた、社会に貢献できる技術者の育成を教育理念とし、本校の教育・研究の発展に寄与するとともに、地域社会における技術開発及び技術教育に資することに努めています。

【学校概要】

久留米工業高等専門学校

学校名：独立行政法人国立高等専門学校機構　久留米工業高等専門学校
所在地：福岡県久留米市小森野１丁目１番１号
校長名：松村　晶
設立：昭和３９年
URL：https://www.kurume-nct.ac.jp/
事業内容：高等専門学校・高等教育機関

【お問い合わせ先】
久留米工業高等専門学校　総務課研究推進係
TEL：0942-35-9333
Email : pi-staff.GAD@ON.kurume-nct.ac.jp