11、神经网络性能优化：自适应激活与主动学习策略

神经网络性能优化：自适应激活与主动学习策略

1. 网络架构与MSE方差

在神经网络中，均方误差（MSE）函数的偏差/方差分解表明，较小的网络架构能够降低MSE的方差分量。由于训练集规模有限，神经网络通常会受到高方差的困扰。通过最小化网络架构引入偏差，可以减少这种方差。较小的网络存在偏差，是因为其假设空间减小，从而限制了能够拟合数据的可用函数。

2. 自适应激活函数

神经网络的性能可以通过允许激活函数根据训练数据的特征动态变化来提高。最早使用自适应激活函数的技术之一是由Zurada开发的，该技术将Sigmoid激活函数的斜率与权重一起学习。每个隐藏单元和输出单元都保留一个斜率参数λ。

Engelbrecht等人扩展了Zurada的lambda学习算法，提出了如下的Sigmoid函数：
[f(net, \lambda, \gamma) = \frac{\gamma}{1 + e^{-\lambda net}}]
其中，λ是函数的斜率，γ是最大范围。Engelbrecht等人还开发了学习方程，用于学习Sigmoid函数的最大范围，从而实现自动缩放。通过使用gamma学习，无需将目标值缩放到(0, 1)范围。

下面是Lambda - Gamma训练规则的算法：

Choose the values of the learning rates η1, η2 and η3 according to the learning rule:
Delta learning rule
η1 > 0, η2 = 0, η3 = 0
Lambda le