神经网络参数的反向传播算法

代价函数

反向传播算法
将输出层的误差反向传播到前面的隐藏层


理解反向传播算法
前向传播算法：



梯度检测
通过计算代价函数梯度的估计值，检测是否与反向传播算法计算出来的梯度值相等或近似，从而判断反向传播算法的实现是否正确。



验证反向传播算法正确之后，要关掉梯度检测的代码

随机初始化
若将神经网络中的参数全初始化为0，那么在之后的梯度下降过程中，所有参数的变化都是相同的。这意味着最后的逻辑回归单元只会接收到一种特征。


神经网络的架构选择

训练神经网络的步骤


注意：反向传播算法中的代价函数J(θ)是一个非凸函数，使用梯度下降法或其他高级的优化算法得到的可能是局部最优值而不是全局最优值，但是一般两者相差不大。