千葉工業大学・基礎生物学研究所・兵庫県立大学などの研究チーム～世代人工知能への応用化に期待～

深層エコーステートネットワークにおける多層化が生み出す多様な時間スケールのダイナミクスが性能向上の鍵

[発表者]

• 井上 秀一 （千葉工業大学 大学院情報科学研究科（修了済み）/LINEヤフー株式会社）

• 信川 創 （千葉工業大学 情報科学部 情報工学科 （教授）/同大学 数理工学研究センター（非常勤主席研究員）/国立研究開発法人国立精神・神経医療研究センター 精神保健研究所児童・予防精神医学研究部（客員研究員））

• 西村 治彦 （大和大学 情報学部 情報学科 （教授）/兵庫県立大学 応用情報科学研究科 （名誉教授））

• 渡辺 英治 （基礎生物学研究所 （准教授）/総合研究大学院大学 生命科学研究科 （准教授））

• 礒川 悌次郎 （兵庫県立大学 大学院 工学研究科 （准教授））

[概要]

井上秀一（千葉工業大学）、信川創（千葉工業大学）、西村治彦（大和大学）、渡辺英治（基礎生物学研究所）、礒川悌次郎（兵庫県立大学）らの研究チームは、次世代型人工知能であるエコーステートネットワーク（Echo State Network: ESN）の性能を大幅に向上させるアーキテクチャとして注目されている「深層エコーステートネットワーク（Deep Echo State Network: DeepESN）」の性能向上の鍵として、階層ごとの多様な時間スケールのダイナミクスの生成が重要な役割を担っていることを明らかにしました。これまで、DeepESNのパラメータ最適化にはベイズ最適化などが用いられてきましたが、どのようなDeepESNのダイナミクスが性能向上に寄与しているのかについての十分な調査は行われていませんでした。研究チームは、DeepESNの各層で生成される挙動の時間スケールについて、関連するパラメータ群を調整することにより、性能との関連を評価しました。その結果、時間履歴に関わるパラメータ群の中で、DeepESNの構成要素であるニューロンの時間履歴項がタスクに対応した最適値を持ち、その設定下において階層間で異なる時間スケールのダイナミクスが発生し、その挙動が階層間で遅延伝搬することにより、長期間DeepESN内に保持されることが明らかとなりました。ESNでは、個々のニューロンが入力タスクに対する過去の入力履歴を基に多様な応答を重ね合わせて所望の信号を生成します。したがって、DeepESNの高い性能は、このような広範な時間スケールの領域に亘る応答によって達成されていると言えます。この研究成果は、DeepESNのパラメータ調整に一定の指針を提供し、学習に大きなリソースを割くことのできないエッジAIのような環境下での学習に大きく貢献すると期待されます。この研究成果は、2024年7月16日に、スイスに本部を置く科学・工学・医学についての出版社であるFrontiers Media SAの査読付き学術雑誌であるFrontiers in Artificial Intelligenceにて発表されます。

キーワード: リザバーコンピューティング、エコーステートネットワーク、深層エコーステートネットワーク、エッジAI

プレスリリース全文

https://www.it-chiba.ac.jp/media/20240718.pdf