千葉工業大学・東京大学などの研究チーム、ニューロンの時間履歴項調整によるダイナミクスの最適化がエコーステートネットワーク性能向上の鍵

[ 発表者 ]

・江波戸 雄大（千葉工業大学 大学院情報科学研究科）

・信川 創（千葉工業大学 情報変革科学部 情報工学科 教授／同大学数理工学研究センター 非常勤主席研究員／国立研究開発法人国立精神・神経医療研究センター 精神保健研究所児童・予防精神医学研究部 客員研究員）

・酒見 悠介（千葉工業大学 数理工学研究センター 上席研究員／東京大学国際高等研究所ニューロインテリジェンス国際研究機構（WPI-IRCN）連携研究者）

・西村 治彦（大和大学 情報学部 情報学科 教授／兵庫県立大学 応用情報科学研究科 名誉教授）

・金丸 隆志（工学院大学 先進工学部 機械理工学科 教授／東京大学国際高等研究所ニューロインテリジェンス国際研究機構（WPI-IRCN）連携研究者）

・Nina Sviridova（東京都市大学 知能情報工学科 講師）

・合原 一幸 (東京大学 特別教授・名誉教授／東京大学国際高等研究所ニューロインテリジェンス国際研究機構（WPI-IRCN） IRCNエグゼクティブ・ディレクター、主任研究者／千葉工業大学 数理工学研究センター 主席研究員）

[ 概要 ]

江波戸雄大（千葉工大）、信川創（千葉工大）、酒見悠介（千葉工大）、西村治彦（大和大）、金丸隆志（工学院大）、Nina Sviridova（東京都市大）、合原一幸（東京大）らの研究チームは、効率的な学習を実現する次世代型人工知能である、エコーステートネットワーク（echo state network: ESN）の性能を向上させる鍵として、ニューロン内部の時間履歴項の調整によるダイナミクスの最適化が重要な役割を担うことを明らかにしました。これまでESNの性能向上に時間履歴項が有効であるとされてきましたが、具体的な調整方法やそれがどのように性能向上に寄与するかの定量的な理解は十分ではありませんでした。研究チームは、記憶性能・安定性・ダイナミクスの多様性などの、ESNの主要な性質に関わる比較実験を通じて、時間履歴項を導入したESNモデルが、安定性とダイナミクスの多様性を保持しながら、通常のESNモデルでは実現できない高い記憶性能を実現することを、近年提案された指標を包括的に駆使することで定量的に示しました。この成果は、ESNにおける時間履歴項の有用性を評価し、さらなる性能向上を目指したモデル開発に貢献すると期待されます。この研究成果は、2024年4月15日に英国の科学雑誌「Scientific Reports」で発表されました。

キーワード：リザバーコンピューティング、エコーステートネットワーク、エッジAI、時間履歴項

■ 研究の背景

エコーステートネットワーク（ESN）は学習効率が高い機械学習手法であるリザバーコンピューティング（RC）モデルの一種です。近年、機械学習技術が社会に浸透し、高い消費電力による環境負荷が問題視される中で、RCモデルは注目を集めています。RCモデルはリザバーと呼ばれる訓練しない再帰型ニューラルネットワーク（RNN）を利用し、リザバーから出力への重みのみを調整することが特徴です。そのためタスクの訓練が容易になるほか、リザバーは様々な物理素子で実装可能であるため、低消費電力な物理実装が可能になります。RCはこのような理由で有望な次世代型の人工知能であり、音声認識や株価予測、ネットワークトラフィック制御などへの応用が研究されています。

RCモデルの社会実装を進めていくためには、RCモデルが高いタスク性能を発揮する仕組みについての理解を深めることが重要です。そのような中で、理論的な研究が比較的容易なRCモデルであるESNを用いて高い性能を得る仕組みについての研究が進められています。現在では、ESNのリザバーの記憶性能や、安定性、ダイナミクス多様性などが性能と関連することが知られており、それらの性質を定量化する指標が提案されてきています。これらの指標は、既存のモデルを改良する高性能化や様々なタスクへの応用研究の際に、ESNの機能向上の程度を定量的に確かめるために用いられています。

■ 研究内容

このような中で、本研究ではESNのリザバーを構成するニューロンモデルの時間履歴項がどのように性能に寄与するかの調査を行いました。研究の概念図を図１に示します。時間履歴項とは現時刻のニューロンの発火状態に過去の自らの発火状態の履歴をどの程度残すかを調節するパラメータです。時間履歴項の調整によりリザバーの状態変動のタイムスケールを入力信号や目標出力に合わせることでき、性能向上に寄与するとされており、過去様々な研究でそれが示唆されています。しかし、その効果は十分には検証されておらず、通常のESNと比べてどのように、どの程度性能が高いのかは定量的に示されていませんでした。

これまで定量的な評価がなされてこなかった原因は、この分野で一般的に用いられていた指標ではリザバーのダイナミクスのタイムスケールというやや曖昧な概念を指標化することができなかったからだと考えられます。タイムスケールは、リザバーの文脈では時定数と解釈されることもあれば、入力信号の情報を保持する期間と解釈されることもあります[1]。一般的な指標の中に、この二つの要素を含むものはありません。個々に測定するとしても、リザバーと入力・目標出力の時系列の時定数を一致させることは必ずしもダイナミクスの変動の早さが一致するとは限らず、最適な設定でないことは経験的に知られていました。また、一般的な記憶指標であるmemory capacityは、時間履歴のないランダムな入力信号を使用する必要があるために、時間履歴項を持つリザバーの記憶性能を過小評価する欠点がありました。

研究チームは、この問題に対して、近年Carrollによって提案された記憶性能指標であるdelay capacity[2]が有効ではないかと考えました。delay capacityはリザバーの発火状態の高い自己相関が持続する期間を指標化したものであるため、ダイナミクスの変動の早さを定量的に示すことができます。さらにこの指標は任意の入力信号で計算することができるため、時間履歴項を持つESNの記憶性能を通常のESNと公平に比較することができます。

そこで研究チームは時間履歴項を持つESNが高い性能を持つ理由は通常のESNより高いdelay capacityを持つからではないかという仮説を立て、比較実験を行いました。具体的には、まず時間履歴項を持つESNが通常のESNよりも高い性能を持つことを時系列予測タスクで確認したのち、その性能向上がdelay capacityの増加によってもたらされていることを検証しました。本研究では通常のESNとの比較に用いるモデルとして、時間履歴項を持つ代表的なモデルであるleaky integrator ESN（LI-ESN）＊１[3]と近年リザバーへの適用が進められているchaotic neuronモデル＊２[4]により構成されたChaotic ESN（ChESN）＊３[5]を用いました。この比較実験においては考慮すべき要素が二つあります。一つは時間履歴項の調整による他の動的性質への影響です。仮に性能の向上に伴ってdelay capacityが増加していたとしても、実は他のダイナミクス指標の変化が主な要因である可能性があります。実際、過去の研究でリザバーダイナミクスの記憶性能以外に多様性や安定性もタスク性能に関係する重要な性質であることが示されています。これに対処するため本研究では多様性の指標である共分散ランク[6]と、安定性の指標であるコンシステンシー[7]の評価を同時に行いました。もう一つの考慮すべき点はリザバーの動的性質の、時間履歴項以外のパラメータの影響による変化です。具体的には、リザバーの結合強度（スペクトル半径）や入力信号の強度のスケーリング項なども性能に影響する主なパラメータとして知られており、これらの組み合わせによってリザバーの性質は大きく変化します。そのため、あるパラメータ値では仮説通りでも他のパラメータ値ではそうでないかもしれません。この問題については広範なパラメータ領域からタスクに最適なパラメータ値を探索し、そのパラメータ値でのリザバーダイナミクスの性質の比較を行うことで対処しました。

時間履歴項を持たないESNとLI-ESN、ChESNの性能を比較した結果を図２に示します。ここでは一般的な時系列予測ベンチマークの一つであるカオス時系列予測タスクが用いられています。本研究では２種類のカオス時系列で比較を行なっています。図２から、LI-ESNとChESNが通常のESNより高い性能を持っていることがわかります。次に各モデルのdelay capacity、共分散ランク、コンシステンシーを比較した結果が図３に示されています。これを見ると、共分散ランクとコンシステンシーには大きな違いはありませんが、LI-ESNとChESN は通常のESNより高いdelay capacityを持っていることがわかります。さらに、LI-ESNとChESNは異なる更新式を持つリザバーであるにもかかわらず、最適なパラメータ値では同程度のdelay capacityを持つことがわかります。この現象はCarrollの先行研究で述べられている、タスクによって最適な記憶性能の程度があるということを示していると考えられます。

ここまでで仮説は検証されましたが、さらに詳しく調べるために広範なパラメータ領域におけるdelay capacityとタスク性能の対応を比較しました（図４）。この図では共分散ランクとコンシステンシーによってリザバーダイナミクスの多様性と安定性が最大である点は赤い点で示されています。そしてLI-ESNとChESNで最適化されたリザバーのdelay capacityの値が縦の点線で示されています。この図から、通常のESNはパラメータ次第では最適なdelay capacityを持ちえますが、多様性と安定性を保ったままある一定以上のdelay capacityを実現することは困難であることがわかります。逆にLI-ESNとChESNでは、多様性と安定性を保ちながら高いdelay capacityを実現できています。よってLI-ESNやChESNなどの時間履歴項を持つESNは高いdelay capacityを要求するタスクで有効性が高いモデルだと考えられます。

■ 今後の展望

本研究では時間履歴項を持つESNがリザバーダイナミクスの多様性と安定性を保ちながら高いdelay capacityを得られることを示しました。このような定量化は、リザバーダイナミクスのタイムスケールの観点での既存のESNモデルの評価や、より性能の高いモデルの提案を行うための重要な一歩になります。今後は時系列分類など、時系列予測以外のタスクでの性能評価や、複数のタイムスケールを持つ時系列に対する適用などを行なってまいります。

■ 用語の説明

＊１）leaky integrator ESN（LI-ESN）

LI-ESNは、リザバーを構成するニューロンダイナミクスの更新式に時定数に対応する時間履歴項を持つEcho state networkであり、リザバーダイナミクスのタイムスケールを調整できる最も一般的なモデルです。

＊２）chaotic neuronモデル

chaotic neuronモデルはダイナミクスの更新式に外部入力、再帰入力、不応性に対応する３種類の時間履歴項を持つニューロンモデルです。多様な時間履歴項を含むニューロンのパラメータを調整することで生物のニューロンが持つようなカオスなダイナミクスを表現することができます。

＊３）Chaotic ESN（ChESN）

ChESNはchaotic neuronモデルで構成したリザバーを用いるEcho state networkです。chaotic neuronが時間履歴に関するパラメータ調整によって通常のニューロンモデルより多様なダイナミクスを実現できるため、通常のESNより高い性能を得ることができます。

 

■ 引用文献

[1]  Jaeger, H. et al. Dimensions of Timescales in Neuromorphic Computing Systems. arXiv. (2021).

[2] Carroll, TL. Optimizing memory in reservoir computers. Chaos: An Interdisciplinary Journal of Nonlinear Science. 32(2). (2022).

[3] Jaeger, H. et al. Optimization and applications of echo state networks with leaky-integrator neurons. Neural networks 20(3), 335–352 (2007).

[4] Aihara, K. et al. Chaotic neural networks. Physics letters A 144(6-7), 333–340 (1990).

[5] Ebato, Y., Nobukawa, S., Nishimura, H. Effect of Neural Decay Factors on Prediction Performance in Chaotic Echo State Networks. IEEE SMC, pp. 1888–1893 (2021).

[6] Carroll, T.L., Pecora, L.M. Network structure effects in reservoir computers. Chaos: An Interdisciplinary Journal of Nonlinear Science 29(8), 083130 (2019)

[7] Lymburn, T. et al. Consistency in echo-state networks. Chaos: An Interdisciplinary Journal of Nonlinear Science 29(2), 023118 (2019).

 

■ 原著論文情報

雑誌名: Scientific Reports (公開日: 2024年4月15日)

論文題目: Impact of time-history terms on reservoir dynamics and prediction accuracy in echo state networks

著者: Yudai Ebato, Sou Nobukawa, Yusuke Sakemi, Haruhiko Nishimura, Takashi Kanamaru, Nina Sviridova, Kazuyuki Aihara

URL: https://www.nature.com/articles/s41598-024-59143-y (オープンアクセスのためこのサイトから閲覧できます)

■ 研究費情報

本研究は、科研費 基盤研究C （JP22K12183）、科研費 学術変革領域研究（A）（JP20H05921）、JST Moonshot R&D（JPMJMS2021）、AMED（JP23dm0307009）、東京大学 Beyond AI 研究推進機構、セコム科学技術振興財団、JST さきがけ（JPMJPR22C5）の支援を受けたものです。

■ 添付資料

図１ 研究の概念図

本研究が扱うエコーステートネットワーク（ESN）と、ESNの時間履歴項の効果の概念図です。上段の図で示されているように、ESNは入力、リザバー、出力からなる構造を持っています。ESNは入力信号を、リザバーを構成するニューロンの発火状態という高次元の時系列に変換し、発火状態の重みつき和によって出力を得ます。本研究の対象であるリザバーニューロンの時間履歴項はこの発火状態の挙動に作用します。下段の図では、時間履歴項の効果の大きさと発火状態の対応が示されています。時間履歴項を最適な値に調整することで、精度が高い目標出力を得ることができます。ここでは、下段中央の図が、最適な時間履歴項のときの発火状態になります。本研究ではこの時間履歴項の効果を定量的に示すことを目標としています。

図２ カオス時系列予測の性能比較

通常のESNとLI-ESN、ChESNの性能比較を２種類のカオス時系列予測で行いました。予測誤差（正規化二乗平均平方根誤差）が低いほど、性能が高いことになります。リザバーニューロンの時間履歴項、リザバーへの入力強度、リザバーの結合重みの強度などのパラメータ設定は網羅的な探索によって最適化されています。誤差棒はリザバーの結合重みをランダムに変えた10回の試行の標準偏差です。(a)の図はローレンツ時系列予測タスクの、(b)の図はレスラー時系列予測タスクの予測誤差の比較です。どちらの図でも、LI-ESNとChESNは通常ESNより予測誤差が小さく、高い性能を持っていることがわかります。

図３ 最適化したリザバーのダイナミクス指標の比較

図２で得た最適なリザバーのダイナミクスを、通常のESNとLI-ESN、ChESNで比較しています。リザバーダイナミクスの記憶性能指標のdelay capacityと、多様性の指標の共分散ランク、安定性の指標のコンシステンシーを用いて比較しています。誤差棒はリザバーの結合重みをランダムに変えた10回の試行の標準偏差です。(a)の図はローレンツ時系列予測タスクに、(b)の図はレスラー時系列予測タスクに最適化したリザバーの指標の比較です。どちらの図でも共分散ランクとコンシステンシーにはあまり差がありませんが、delay capacityではLI-ESNとChESNは通常のESNより高い値を得ています。また、LI-ESNとChESNは近いdelay capacityの値で最適となっています。

図４ delay capacityと予測誤差の対応の比較

網羅的なパラメータ探索で得たリザバーのdelay capacityと予測誤差の対応を、通常のESN、LI-ESN、ChESNで比較しています。各点が得たサンプルで、赤い点はリザバーダイナミクスの多様性の指標である共分散ランクと、安定性の指標であるコンシステンシーが最大の点を示しています。縦の点線は図３において最適なLI-ESNとChESNのリザバーが持つdelay capacityの値の平均を示しています。この縦の点線付近の値は(a)ローレンツ時系列予測タスクと(b)レスラー時系列予測タスクそれぞれにおいて最適なdelay capacityを示しています。よって赤い点かつ縦の点線付近のdelay capacityで最も性能が高いリザバーを得ることができます。(a)と(b)両方の図で、LI-ESNとChESNはそのようなリザバーを実現できていますが、通常のESNでは緑の横線で示されている、多様性と安定性を保ちながら実現できるdelay capacityの範囲が縦の点線に届いていないことがわかります。