梯度下降法

1 最优化问题

• 最优化问题是求解函数极值的问题，包括极大值和极小值。在机器学习之类的实际应用中，我们一般将最优化问题统一表述为求解函数的极小值问题，即：$$mi{n}_{x}f(x)$$其中x称为优化变量，f称为目标函数。
• 极大值问题可以转换成极小值问题来求解，只需要将目标函数加上负号即可：$$mi{n}_x(-f(x))$$
• 优化问题的全局极小值$x^{\ast }$是指对于可行域里所有的x，不大于任意一点处的函数值，即：$$f(x^{\ast })\le f(x)$$
• 优化问题的局部极小值$x^{\ast }$ 定义为存在一个$\delta$ 邻域，对于在邻域内$||x-x^{\ast }||\le \delta$，并且在可行域内的所有x，有：$$f(x^{\ast })\le f(x)$$

2 导数与梯度

• 多元函数的梯度定义为：$$▽f(x)={\left(\frac{\partial f}{\partial x_1},...,\frac{\partial f}{\partial x_n}\right)}^T$$ 其中$▽$称为梯度算子，它作用于一个多元函数，得到一个向量。如：$$▽(x^2+xy-y^2)=(2x+y,y-2y)$$
• 可导函数在某一点处取得极值的必要条件是梯度为0，梯度为0的点称为函数的驻点，但不是充分条件，即梯度为0的点可能不是极值点。
• 要判断是极大值还是极小值，要看二阶导数/Hessian矩阵（由函数的二阶偏导数构成的矩阵）。有如下情况：
  1.如果二阶导数大于0 / Hessian矩阵正定，函数有极小值
  2.如果二阶导数小于0 / Hessian矩阵负定，函数有极大值
  3.如果二阶导数等于0 / Hessian矩阵不定，情况不定
• 疑问：直接求函数的导数/梯度，然后令导数/梯度为0，解方程，问题不就解决了吗？然后有些方程可能很难解。比如下面的函数：$$f(x,y)=x^3-2x^2+e^{xy}-y^3+10y^2+50sin(xy)$$
  分别对x和y求偏导数，并令它们为0，得到下面的方程组：$$\{\begin{array}{l}3x^2-4x+y{e}^{xy}+50ycos(xy)=0\\ x{e}^{xy}-3y^2+20y+50xcos(xy)=0\end{array}$$这个方程非常难以求解，对于有指数函数，对数函数，三角函数的方程，我们称为超越方程，求解的难度并不比求极值本身小。
• 精确的求解不太可能，因此只能求近似解，这称为数值计算。工程上实现时通常采用的是迭代法，它从一个初始点$x_0$ 开始，反复使用某种规则从$x_k$移动到下一个点$x_{k+1}$ ，构造这样一个数列，直到收敛到梯度为0的点处。即有下面的极限成立：$$li{m}_{k\to +\infty }▽f(x_k)=0$$
• 这些规则一般会利用一阶导数信息即梯度，或者二阶导数信息即Hessian矩阵。这样迭代法的核心是得到这样的由上一个点确定下一个点的迭代公式：$$x_{k+1}=h(x_k)$$此时我们没有全局信息，根本就不知道哪里是地势最低的点，只能想办法往下走，走一步看一步。

3 推导过程

• 如果一个一元函数n阶可导，它的泰勒展开公式为：$$f(x+\Delta x)=f(x)+f^{\prime }(x)\Delta x+\frac{1}{2}{f}^{\prime }(x)(\Delta x{)}^2+...+\frac{1}{n!}{f}^{(n)}(x)(\Delta x{)}^n$$
• 多元函数$f(x)$在x点处的泰勒展开为：$$f(x+\Delta x)=f(x)+(▽f(x){)}^T\Delta x+o(\Delta x)$$ 这里忽略了二次及更高的项。其中一次项是梯度向量与自变量增量$\Delta x$ 的内积$(▽f(x{)}^T\Delta x)$，这等价于一元函数的$f^{{}^{\prime }}(x_0)(\Delta x)$。
• 函数的增量与自变量的增量$\Delta x$ 、函数梯度的关系可以表示为：$$f(x+\Delta x)-f(x)=(▽f(x){)}^T\Delta x+o(\Delta x)$$