吴恩达机器学习笔记10——神经网络参数的反向传播

第10章 神经网络参数的反向传播

为神经网络拟合参数的算法

1，代价函数Cost Function

 

2，反向传播算法

让代价函数最小化的方法。

推导一下

是l层第j个单元的激活值，是求他 的误差

第一层不存在误差，因为是输入层。

以下为导数推导。

然后可以对导数采用梯度下降法等方法优化。

3，理解反向传播

可以把一元情况下的代价函数看成方差的形式，预测精准度。

4，展开参数

5，梯度检测

n是theta向量的维数，for循环使得每一次只对某一个theta量求导。

梯度检验是一种很慢的数值计算方法，不要在每一次iteration是都计算，这样速度会非常慢。因为梯度检验比BP算法慢得多，反向传播算法是一种很高效的算法，所以可以用它来代替这种低效的梯度检验算法。again，它只是用来第一次检验的。检验结束，就禁止他。

6，随机初始化

如果初始为0，就会出现a_1和a_2在所有hidden layer都是一样的，最后导致高度冗余。

以上问题被称为对称权重问题，Problem of symmetry。这里的epsilon和之前梯度检验的无关，不过都代表很小的接近0的数。

具体使用方法是，先随机生成初始theta（接近于0的很小的数），再进行BP算法，再进行梯度检验，最后用梯度下降或其他优化算法。

7，组合到一起（神经网络学习回顾）

我的一个问题：选择层数和units是否有什么讲究或算法。

解答：输出layer由分类的结果决定，比如有10类，那就有10维度。

中间的隐藏layer尽量隐藏单元数一直，每一层layer最好有相同的units数目。可以是输入x的1 2 3 4倍，

J(theta)可能是非凸函数，也就是在利用梯度下降等方法时，容易陷入局部最优解，但是大部分情况下还是能得到一个代价函数较小的结果的。