5、动态神经网络：原理、应用与实践

动态神经网络：原理、应用与实践

1. 神经网络分类与设计流程

神经网络主要分为动态和静态两类。静态（前馈）网络没有反馈元素和延迟，其输出通过前馈连接直接从输入计算得出。而动态网络的输出不仅取决于当前输入，还依赖于网络当前或先前的输入、输出或状态。

动态网络的训练与静态前馈网络的训练有相似之处，一般神经网络设计过程包含以下七个主要步骤：
1. 收集数据
2. 创建网络
3. 配置网络
4. 初始化权重和偏置
5. 训练网络
6. 验证网络（训练后分析）
7. 使用网络

由于动态网络的输入是时间序列，在设计过程中会有一些额外的初始化步骤，并且有专门的验证程序。

2. 动态网络示例

动态网络可分为仅含前馈连接和含反馈（递归）连接两类。为理解静态、前馈动态和递归动态网络的区别，我们可以创建一些网络并观察它们对输入序列的响应。

2.1 创建脉冲输入序列

p = {0 0 1 1 1 1 0 0 0 0 0};
stem(cell2mat(p))

2.2 静态网络示例

创建一个简单的线性网络，单层、单神经元、无偏置，权重为 2：

net = linearlayer;
net.inputs{1}.size = 1;
net.layers{1}.dimensions = 1;
net.biasConnect = 0;
net.IW{1,1