qq_32051085的博客

使用反向传播算法和梯度下降算法调整神经 网络中参数的取值。 1.神经网络优化过程 神经网络的优化过程分为两个阶段 1.1第一阶段： 先通过前向传播算法计算得到预测值，并将预测值和真实值做对比得出两者之间的差距。 1.2第二阶段： 通过反向传播算法计算损失函数对每一个参数的梯度，再根据梯度和学习率使用梯度下降算法更新每一个参数。 2.梯度下降算法 2.1.梯度下降算法 主要用于优化单个参数的取值, ...

学习率设置 学习率过大会导致，参数在极优值两侧来回移动。学习率过小，会导致优化速度大大降低。常用指数衰减法设置学习率 指数衰减法 实现以下功能： decayed_learning_rate = learning_rate * decay_rate^(global_step/decay_steps) decayed_learning_rate是每一轮优化时候使用的学习率， learning_ra...