深度学习权重更新的误解

  我们知道，在深度学习中权重更新是为了使得 Loss Fuction 变小，权重微量的增加或者减小都会对 Loss Fuction 造成一定的影响。为了使得 Loss Fuction 变小，那么就需要改变权重的值使得 Loss Fuction 朝着减小的方向进行。权重是这样更新的：前权重的值 - 学习率 × df/dw ，df/dw 即 Loss Fuction 对该权重的偏导，可正可负。所以，权重在更新的过程中可能增大，也可能减小。