牛顿法

牛顿法

牛顿法也是求解无约束最优化问题的常用方法，有收剑速度快的优点。书上说牛顿法是泰勒公式的二阶展开，但是对于初学者来说实在难以看懂，下面我以别一种形式来说明牛顿法：

如图，在$x_0$处的导数为$f'(x_0)$，而$f(x_1)$是比$f(x_0)$小，所以：

$f'(x_0) = \frac{f(x_0)}{x_0-x_1}$
化简得：
$x_1 = x_0 - \frac{f(x_0)}{f'{x_0}}$

通过$x_1 = x_0 - \frac{f(x_0)}{f'{x_0}}$不断迭代值，直到x的变化量小于设定好的阀值，最终找到最优解。