6、神经网络动态模型与训练实战

神经网络动态模型与训练实战

1. 网络训练与性能差异

训练后的网络输出能够准确区分两个“音素”。不过，分布式时间延迟神经网络（Distributed TDNN）的训练通常比前馈时间延迟神经网络（FTDNN）慢，这是因为分布式 TDNN 必须使用动态反向传播算法。

2. NARX 网络

NARX（非线性自回归外生输入）网络是一种循环动态网络，基于线性 ARX 模型，常用于时间序列建模。其定义方程为：
$y(t) = f(y(t - 1), \cdots, y(t - n_y), u(t - 1), \cdots, u(t - n_u))$
其中，因变量输出信号 $y(t)$ 的下一个值由输出信号的先前值和独立（外生）输入信号的先前值回归得到。可以使用前馈神经网络来近似函数 $f$。

NARX 网络有多种应用，如作为预测器预测输入信号的下一个值、用于非线性滤波以及对非线性动态系统进行建模。

在训练 NARX 网络之前，有一个重要的配置需要解释。可以将 NARX 网络的输出视为要建模的某个非线性动态系统输出的估计值。在标准 NARX 架构中，输出会反馈到前馈神经网络的输入。但在训练时，由于可以获取真实输出，因此可以创建串并联架构，使用真实输出而非估计输出进行反馈，这样做有两个优点：一是前馈网络的输入更准确；二是得到的网络具有纯前馈架构，可以使用静态反向传播进行训练。

下面以磁悬浮系统为例，展示如何使用串并联架构训练 NARX 网络来建模动态系统：

% 加载训练数据
load magdata
[u,us] = mapminmax(u);