53、图像恢复中的误差最小化、退化与噪声处理

图像恢复中的误差最小化、退化与噪声处理

1. 误差函数最小化

在数据处理和模型训练中，我们常常需要找到一个合适的模型来拟合数据。这可以通过最小化一个误差函数来实现，该误差函数用于衡量给定参数 (w) 下的值函数 (y(x, w)) 与训练集中数据点之间的不匹配程度。

1.1 常用误差函数

常用的误差函数是每个数据点 (x_n) 的估计值 (y(x_n, w)) 与相应索引值 (t_n) 之差的平方和，即：
[E(w) = \frac{1}{2} \sum_{n = 0}^{N} {y(x_n, w) - t_n}^2]
这个误差始终是非负的，只有当函数 (y(x, w)) 准确地通过训练集中的每个数据点时，误差才为零。

1.2 多项式阶数的影响

多项式函数的阶数 (M) 是影响模型性能的一个重要因素。这本质上是一个贝叶斯模型比较或模型选择问题。
- 阶数较小 ：对应的多项式函数灵活性较低（自由度较少），不太可能跟上测试数据的变化，从而导致较大的测试集误差。
- 阶数足够大 ：由于自由度较大，可能会很好地拟合测试集数据，但多项式会出现振荡，使得测试集误差变得非常大，这就是过拟合问题。

1.3 正则化

正则化是克服过拟合问题的一种方法，通过在误差函数中添加惩罚项来避免系数过大。最简单的惩罚项是所有系数的平方和，此时误差函数变为：
[E_p(w) = \frac{1}{2} \sum_{n = 0}^{N} {y(x_n, w) - t_n}^2 + \frac{\lam