反向传播算法 from 吴恩达的机器学习

反向传播算法目的

最小化神经网络代价函数

表示：

l：代表目前所计算的是第几层。

j：代表目前计算层中的激活单元的下标，也将是下一层的第个输入变量的下标。

i：代表下一层中误差单元的下标，是受到权重矩阵中第行影响的下一层中的误差单元的下标。

：表示误差

：误差矩阵

假设，即我们不做任何正则化处理时有

反向传播算法

1.获得训练集

2.对所有的 i j l初始化

3.对训练集数据i=1：m

（1）设置a1 = x(i,:)

（2）使用前向传播算法，获得a2,a2...至 aL

（3）计算输出层误差

（4）从输出层到输入层，计算每一层误差

（5）计算

（6）计算出代价函数的偏导数，即预测参数

反向传播算法直观理解

前向传播：

后向传播：