最优化学习笔记(五)——牛顿法（多维数据）

    在最优化学习系列中，第一次就说的是牛顿法，但是那是在一维搜索上的，它其实就是将函数$f$在$x$处利用泰勒公式展开，得到它的近似函数，进而求解最小值。本节内容主要说明牛顿法在多维数据上的迭代公式。最优化学习笔记中讲到的最速下降法是一种速度比较快的优化方法，但是最速下降法只用到了函数的一阶导数，这种方法并不总是最高效的。而这里说的牛顿法用到了二阶导数，它的效率可能比最速下降法更优。
    当目标函数$f: \mathbb{R^n} \to \mathbb{R}$上二阶连续可微时，将函数$f$在$x^{(k)}$处进行泰勒展开，并且不考虑三阶及以上的项，那么可得到函数$f$的二阶近似项：

f(x