Devilshubert的博客

原创 深度学习之pytorch小技巧积累

1.Regularization-正则化 ·基础： L1正则化 L2正则化 2.动量（momentum） ·本质：在每一次个更新tensor时，都记忆上一次梯度下降的方向 加入动量的权重更新，不会使得权值的梯度下降的方向特别分散，因为记忆了上一次梯度的方向（特别是优化前期） 并且加入动量更不会陷入局部最优解 （当某一处存在局部最优解时，不会马上朝着梯度下降最陡的方向，因为综合了上一次的梯度方向） ·未加入动量时的优化 ·加入动量后的优化 可...