梯度下降

参考文章 https://blog.youkuaiyun.com/zhulf0804/article/details/52250220

方向导数与梯度

 

首先，要明确梯度是一个向量，是一个n元函数f关于n个变量的偏导数，比如三元函数f的梯度为(fx,fy,fz)，二元函数f的梯度为(fx,fy），一元函数f的梯度为fx。然后要明白梯度的方向是函数f增长最快的方向，梯度的反方向是f降低最快的方向。

 

对于一个函数f(x)，你可以通过将x 向导数的反方向移动一小步来减小f(x) 的值。同样，对于张量的函数f(W)，你也可以通过将W 向梯度的反方向移动来减小f(W)