【博士每天一篇论文-算法】Overview of Echo State Networks using Different Reservoirs and Activation Functions

阅读时间：2023-11-20

1 介绍

年份：2021
作者：Dan-Andrei Margin，Virgil Dobrota，克卢日纳波卡技术大学
期刊： 2021 20th RoEduNet Conference: Networking in Education and Research (RoEduNet)
引用量：2

这篇论文主要关注在物联网（IoT）网络中使用回声状态网络（Echo State Networks，ESN）进行交通预测。作者强调网络需要不断调整网络参数，因为大量数据通过互联网并且网络变化动态。论文概述了循环神经网络（Recurrent Neural Networks，RNN）和储层计算（Reservoir Computing）的概述，重点介绍了ESN作为一种特定类型。论文提出并研究了三种不同的ESN拓扑结构，并将它们在交通预测中与季节性自回归移动平均（Seasonal Autoregressive Moving Average，SARIMA）、卷积神经网络（Convolutional Neural Networks，CNN）和长短期记忆（Long-Short Term Memory，LSTM）等经典算法的性能进行了比较。在数据速率预测方面，表现最佳的配置是由扩展储层和岭回归读取组成的配置。它使用了一个50x50的神经元矩阵，使用Sigmoid激活函数。在数据包速率方面，60％稀疏性水平的稀疏正交矩阵模型表现更好。作者得出结论，所提出的ESN配置比经典的预测算法产生更好的结果。

2 创新点

1. 引入了Echo State Networks (ESN)用于IoT网络流量预测，为网络动态调整网络参数提供了一种方法。
2. 提出并比较了三种不同拓扑结构的ESN，并将它们与传统算法（如Seasonal Autoregressive Moving Average (SARIMA)、Convolutional Neural Networks (CNN)和Long-Short Term Memory (LSTM)）在流量预测上进行了性能对比分析。
3. 在数据速率预测方面，提出50 x 50神经元矩阵、使用Sigmoid激活函数的Extended Reservoir和Ridge Regression readout结构表现最好。在数据包速率预测方面，稀疏正交矩阵(Sparse Orthogonal Matrix)模型在60%稀疏程度上表现最佳。
4. 实验结果显示，提出的ESN配置比传统的预测算法具有更好的性能，包括更低的均方根误差（RMSE）和训练/预测时间。

3 算法

（1）储层网络
储层网络包含了基于稀疏正交矩阵（Sparse Orthogonal Matrix，SORM）模型、时延线储层（Delay Line Reservoir，DLR）和扩展储层（Extended Reservoir，ER）。
（2）输出模型部分
读取模型包括岭回归（Ridge Regression，RR）和贝叶斯回归（Bayes Regression，BR）

4 实验分析

通过对比RMSE、训练时间和预测时间等指标，确定了最适合网络流量预测的ESN配置。实验结果显示，所有ESN配置较传统模型（如LSTM、CNN、SARIMA）表现更好，具有更低的RMSE、训练时间和预测时间。在长期预测方面，扩展储层结合岭回归读取模型在数据速率预测方面表现最佳，而SORM储层在60%的稀疏度水平下在包速率预测方面表现较好。

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年嵌入式&物联网开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上嵌入式&物联网开发知识点，真正体系化！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新！！

大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**！！