25、神经网络迭代反演技术全解析

神经网络迭代反演技术全解析

1. 反演作为优化问题的引入

在处理神经网络相关问题时，我们常常会遇到需要进行反演的情况。假设一个前馈神经网络已经经过训练（例如通过监督学习），能够为给定问题实现正向映射。简单来说，它实现了一个可微函数 $f$，该函数将实值输入 $z = (X_1, \ldots, X_L)$ 映射到实值输出 $y = (y_1, \ldots, y_w)$。由于只假设了 $f$ 的可微性，所以这里描述的方法同样适用于统计回归和模糊系统。

反演问题可以这样表述：对于哪些输入向量 $z$，函数 $f(x)$ 能够近似于期望的输出 $y^ $ 呢？这个问题可以转化为一个优化问题，即找到使以下误差函数最小的 $x$：
[E = |y^ - f(z)|^2]

因为 $f$ 是可微的，所以可以使用梯度优化方法。在这个过程中，将 $z$ 的输入分量视为自由参数，而神经网络的权重保持不变。具体步骤如下：
- 计算每个输入分量 $X_1, \ldots, X_L$ 的偏导数 $\delta_i$：
[\delta_i = -\frac{\partial E}{\partial x_i}]
- 计算 $\delta_i$ 的过程与训练神经网络权重的误差反向传播过程非常相似。唯一的区别在于，现在还需要为输入单元计算误差信号，并且由于权重保持不变，不需要计算权重的偏导数 $\frac{\partial E}{\partial w_{ij}}$。
- 从输入空间的初始点 $x^{(0)}$ 开始，第 $n$ 次迭代的梯度下降步长规则为：
[x^{(n)} = x^{(n - 1)} - \eta\delta^{