anfanger_z的博客

梯度下降几乎可以说已经成为深度学习领域的标配优化算法。本文记录一下关于梯度下降的基础。举例均以二元函数为例。多元函数单调性的定义由于多元函数在空间中形成的是曲面，我们知道过曲面上的一点可以得到无数条切线。因此，不能像一元函数那样只沿着xxx轴研究函数变化。首先引入多元函数的单调性定义。方向导数定义 :若函数u=f(x,y)u = f(x,y)u=f(x,y)在点p(x,y)p(x,y)...