8、噪声环境下的学习与存储问题探究

噪声环境下的学习与存储问题探究

1. 零温度学习的过拟合问题

在零温度学习中，当训练集大小略低于临界值αc时，泛化误差停止下降甚至上升，这是过拟合的典型表现。学生试图完美模仿教师，但使用了错误的概念，在精确重现含噪声的训练集时，破坏了对规则的理解。由此推测，在αc以下使用具有非零训练误差学习规则的“噪声学生”，可能能够避免过拟合，更成功地掌握示例中隐藏的规则。

当α > αc时，会出现一个技术复杂性问题，即一直使用的复制对称鞍点变得不稳定，之前的结果仅能作为近似。不过，相关问题表明这些近似效果较好，所以暂不讨论包含复制对称破缺时的修改情况。

2. 含误差学习

2.1 学习规则的选择

在训练集无噪声的情况下，精确重现所有分类以尽可能近似目标规则是合理的。但当训练集包含错误时，坚持零训练误差可能会产生误导。此时，学生采用从一开始就产生非零训练误差的学习规则，即“模仿”教师的错误，可能更为明智。一种简单的方法是采用非零温度T > 0的吉布斯学习，其可用于表征具有给定训练误差εt的学生感知器的典型性能。

2.2 输出噪声情况分析

仅明确考虑输出噪声的情况，通过对相关公式进行直接推广，可得到序参量的表达式：
[
\frac{q - R^2}{1 - q} = \frac{\alpha}{\pi} \int Dt \left[\frac{1 - a}{2} + a H \left(-\frac{Rt}{\sqrt{q - R^2}}\right)\right] \exp \left(-\frac{q}{1 - q} t^2\right) \left[\frac{1}{e