同期理論で紐解くリカレントニューラルネットワークの予測機構と新学習法の提案 ～ニューロンの状態から何を読み取り、カオスを予測しているのか？～

【研究の要旨とポイント】

同期ダイナミクスに関する数学理論を応用し、リカレントニューラルネットワーク（RNN）によるカオス時系列予測の仕組みを数理的に解明しました。

近年数学的に証明された一般化同期写像を用いて、予測の“正解読み出し写像”を調べました。その結果、RNNの学習法の一つであるリザバーコンピューティングが、この写像の線形（1次）近似に対応することを示しました。さらに、2次・3次の近似を含む“一般化読み出し”を用いた新たな学習法を提案しました。

気象予報に由来するカオス時系列予測のタスクにおいて、提案手法を導入することで予測精度および安定性（ロバスト性）が大きく向上することを示しました。

【研究の概要】

東京理科大学 理学部第一部 応用数学科の犬伏 正信准教授、同大学大学院 理学研究科 応用数学専攻の大久保 茜氏（2024年度 修士課程1年）の研究グループは、同期ダイナミクスに関する数学理論（力学系理論, ＊1）を応用し、リカレントニューラルネットワークの予測機構を解明しました。さらに、この知見に基づく新しい学習法をリザバーコンピューティングの枠組みに導入することで、カオス時系列予測の精度とロバスト性（安定性）が大幅に向上することを明らかにしました。

リザバーコンピューティング（RC）は、リカレントニューラルネットワークの学習法の一つで、ニューロン状態の線形結合によって構成される出力層のみを学習の対象とします。近年、時系列データの予測や非線形システムのモデリングにおいて驚くべきRCの性能が報告されています。他の学習法に比べて大幅に簡素化されているにもかかわらず、なぜRCがこれほど効果的なのかという基本的な問いは、未だ解明されていません。

本研究では、力学系理論における一般化同期写像を応用することで、この問いに答えるための鍵となる写像（”正解読み出し写像”）を明らかにしました。この写像は予測値をニューロン状態から読み出す際の「正解（ターゲット）」に対応します。論文中では、従来のRCの枠組みがその写像の線形近似であるという解釈を与え、さらにその2次・3次の近似を含む『一般化読み出し』を用いた学習法を提案しました。気象予報に由来するカオス時系列予測のタスクにおいて、提案手法を導入することで予測精度およびロバスト性が大きく向上することを、数値実験を用いて示しました。

本研究成果は、2024年12月28日に国際学術誌「Scientific Reports」にオンライン掲載されました。

同期写像のイメージ。予測対象となるカオス力学系の状態（左）と、予測に用いるニューラルネットワークの状態（右）との同期関係を表す。

【研究の背景】

脳の神経回路網は神経細胞で構成されており、その細胞間ではシナプス結合を介して情報伝達が行われています。この神経回路網は数理モデルで表現され、リカレントニューラルネットワークなど、さまざまな手法が機械学習分野で提案されてきました。RCは、他の機械学習手法と比べて単純な構造をしているにもかかわらず、カオス時系列予測などのタスクにおいて優れた性能を発揮します。この謎を解くために、力学系理論をはじめとする数学的観点から多くの研究がなされてきました。特に、ニューラルネットワークそれ自体を力学系として見た際、学習対象となる力学系との間に存在する一般化同期写像は、RCの学習性能の謎を解く鍵と考えられます。

【研究結果の詳細】

本研究では一般化同期写像を応用し、ニューロン状態から予測値への読み出しに対応する正解の写像を理論的に明らかにしました。従来のRCをこの写像の1次近似であると解釈すると、2次や3次など高次で近似することができれば写像をより正確に表現できることが期待できます。このようなアイディアのもと、RCの枠組みの中でニューロン状態を非線形に結合する『一般化読み出し』を提案しました。特に2次と3次の近似に対応する読み出しについて、気象学に由来するカオス時系列を予測するタスクを用いて従来法と比較しました。その結果、予測精度の向上やカオス力学系のモデル化がロバストに可能であると示唆され、それらを定量的に評価しました。また、一般に従来手法はニューロンの数が多い場合に高精度な予測が可能ですが、提案手法はニューロン数が少ない場合でも安定して予測が可能であることが示されました。

本研究は、日本学術振興会(JSPS)の科研費(22K03420, 22H05198, 20H02068, 19KK0067)による助成を受けて実施されました。

【用語】

＊1 力学系理論:

現象の時間経過を記述する数理モデル（微分方程式や写像）の性質を調べるための数学理論。カオスのような複雑な振る舞いや、複数の数理モデルの状態間で起こる同期現象を解析する際に有効である。

【論文情報】

雑誌名：Scientific Reports

論文タイトル：Reservoir Computing with Generalized Readout based  on Generalized Synchronization

著者：Akane Ohkubo and Masanobu Inubushi

DOI：10.1038/s41598-024-81880-3

※PR TIMESのシステムでは上付き・下付き文字や特殊文字等を使用できないため、正式な表記と異なる場合がございますのでご留意ください。正式な表記は、東京理科大学WEBページ（https://www.tus.ac.jp/today/archive/20250116_6281.html）をご参照ください。