线性神经网络

线性神经网络

线性神经网络和单层感知器的区别主要在于：感知器的传输函数只能输出两种可能的值，而线性神经网络可以输出任意值，其传输函数是线性函数

如图所示，线性神经网络可以产生二值输出(图中的$q$)和模拟输出(图中的$y$)

和感知器类似，先行神经网络的变量：
$x(n)=[1, x_1(n),x_2(n),...,x_N(n)]^T$
$w(n)=[b(n),w_1(n),w_2(n),...,w_N(n)]^T$
$b(n)=偏置$
$y(n)=实际输出=f(x(n)^Tw)=x(n)^Tw$
$d(n)=期望输出$
$\eta=学习率，0<\eta<1$
激活函数$f=purelin$(线性函数$y=x$)

LMS算法

线性神经网络的闪光之处在于其学习算法LMS。LMS算法只能训练单层网络。

第n次迭代的信号误差

$$e(n)=d(n)-x^T(n)w(n)$$
对 $w$求偏导可得 $$\frac {\partial e(n)} {\partial w}=-x^T(n)$$
代价函数 $$E(w)=\frac 1 2 e^2(n)$$
对 $w$求偏导可得 $$\frac {\partial e(n)} {\partial w}=e(n)\frac {\partial e(n)} {\partial w}$$
综上可得 $$\frac {\partial E} {\partial w}=-x^T(n)e(n)$$
因此，根据梯度下降法 $$w(n+1)=w(n)+\eta (-\nabla)=w(n)+\eta(-\frac {\partial E} {\partial w})=w(n)+\eta x^T(n)e(n)$$

LMS算法中学习率的选择

确保收敛的学习率

1996年Hayjin证明只要学习率$\eta$满足

$$0<\eta<\frac 2 {\lambda_{max}}$$ LMS算法就是按方差收敛的。其中 $\lambda_{max}$是输入向量 $x(n)$组成的自相关矩阵 $R$的最大特征值。由于$\lambda_{max}$常常不可知，往往用 $R$的迹来代替 $$tr(R)=\sum_{i=1}^QR(i,i)$$
同时，矩阵的迹等于所有特征值之和，因此 $tr(R)>\lambda_{max}$
只要取 $0<\eta<\frac 2 {tr(R)}<\frac 2 {\lambda_{max}}$即可满足条件。
按定义，自相关矩阵的主对角线元素之和就是各输入向量的均方值，因此公式又可以写成 $$0<\eta<\frac 2 {向量均方值之和}$$

学习率逐渐下降

学习初期，用较大的学习率保证收敛速度，随着迭代次数增加，减小学习率保证精度，确保收敛。
- $\eta=\frac {\eta_0} {n}$
- $\eta=c^n\eta_0,c接近1但小于1$
- $\eta=\frac {\eta_0} {1+\frac n \tau}, n_0和\tau均为常数$