机器学习经典算法-人工神经网络之反向传播算法

机器学习经典算法-人工神经网络之反向传播算法

简介

人工神经网络的研究在一定程度上受到了生物学的启发，因为生物的学习系统是由相互连接的神经元组成的异常复杂的网络。而人工神经网络与此大体相似，它是由一系列简单单元相互密集连接构成，其中每一个单元有一定数量的实值输入，并产生单一的实数值输出。（机器学习 Tom M. Mitchell）

神经网络学习方法对于逼近实数值、离散值或向量值的目标函数提供了一种鲁棒性很强的方法，本文要描述的反向传播算法已经在很多实际问题中取得了惊人的成功，本文最终实现的学习器可以以较高的正确率识别手写的单个数字。

实际上，本文并未打算对数学原理做过多的推导，而是以一个初学者的眼光对自己的理解做一个简单的介绍。如果读者是初学者，那么本文应该会给你一些帮助；如果你已经有了一定的理解，那么本文可能不是你想要的内容。

适合神经网络学习的问题：

实例是用很多“属性-值”对表示的
训练数据可能包含错误
可以长时间训练
可能需要快速求出目标输出

简单的学习模型：感知器

感知器以一个实数向量$\vec x = [x_1, x_2, \dots, x_n]^T$ 作为输入，通过权值向量$\vec w = [w_0, w_1, \dots, w_n]$ 计算这些输入的线性组合，如果结果大于某个阈值就输出1，否则输出-1。

$$o(x_1, \dots, x_n)= \begin{cases} 1 & if \quad w_0 + w_1 x_1 + w_2 x_2 + \dots + w_n x_n \gt 0 \\ -1 & otherwise \end{cases}$$
为了方便描述，常常附加一个常量$x_0 = 1$，上述函数就可以写成：
$$o(\vec x) = sgn(\vec w ·\vec x)$$
其