最优化学习笔记（六）——牛顿法性质分析

一、牛顿法存在的问题

    在单变量的情况下，如果函数的二阶导数$f''<0$，牛顿法就无法收敛到极小点。类似的，在多变量的情况下，目标函数的hessian矩阵$\boldsymbol{F}(\boldsymbol{x}^{(k)})$非正定，牛顿法的搜索方向并不一定是目标函数值的下降方向。甚至在某些情况下$\boldsymbol{F}(\boldsymbol{x}^{(k)}) > 0$， 牛顿法也不具有下降特性。比如，当初始点远离目标函数极小值点时，就有可能出现这种情况。
    牛顿法虽然有上述缺陷，但是如果初始点离极小值点比较近，牛顿法将表现出相当好的收敛特性。

二、两个定理

    首先选定目标函数为二次型函数$f$,牛顿法只需一次迭代就可以从任意点收敛到极小点。令目标函数如下：

$$f(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{Q}\boldsymbol{x}-\boldsymbol{x}^T\boldsymbol{b}$$
它的梯度和hessian矩阵分别是：

$$\boldsymbol{g(x)} = \nabla f(\boldsymbol{x}) = \boldsymbol{Q}\boldsymbol{x}-\boldsymbol{b}\\ \boldsymbol{F}(\boldsymbol{x})=\boldsymbol{Q}$$
当 $\nabla f(\boldsymbol{x}) =0$时，可求得 $f$的极小值点 $\boldsymbol{x}^*$，且 x∗=Q−