神经网络线性神经元

线性神经元

1 提出背景：

感知器神经元是通过每次改变权重（weight），实现结果收敛。即使得currentweight 不断的接近generous feasible weight.但是这样的做法并不适合于复杂的神经网络，比如非凸函数的网络（两个好的解决方法的平均值并不是一个好的解决方法）。

为了解决这个问题，提出一种新的方法，用实际的输出结果不断接近指定的结果的过程取代当前权重不断接近最优权重的过程。

线性神经元就是最简单的一种方法。

2 求解过程：

线性神经元的求解过程是一个迭代的过程（iterated mode）：

（1）   我们需要了解神经网络的具体的工作过程

（2）   迭代的求解方式可以便于扩展

3 目标：

最小化训练误差，即,为了之后求解的方便，误差定义为

4 迭代的过程：

 利用梯度下降的算法进行求解