【优化方法】牛顿法——Newton Method

一、牛顿法主要有两个应用方向：

• 求方程的根
• 求函数最优化求解

二、求方程的根：

• 假设我们现在要求方程$f(x)=0$的根$x^{\ast }$：
  • 第一步：对$f(x)$进行一阶泰勒展开：$$f(x)\approx f(x_0)+f^{\prime }(x_0)(x-x_0)$$$$g(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)$$$g(x)$为$f(x)$的一阶泰勒展开，其实质就是$f(x)$在$x_0$点的切线方程，根据泰勒公式的性质我们知道$f(x)$和$g(x)$在$x_0$点附近的值可以非常接近。
  • 第二步：求出$g(x)$的根$x_1$：$$f(x_0)+f^{\prime }(x_0)(x-x_0)=0$$$$x_1=x_0-\frac{f(x_0)}{f^{\prime }(x_0)}$$
  • 第三步：重复第一步和第二步直到收敛：$$x_{k+1}=$$