牛顿法

牛顿法的基本含义

泰勒公式：

$$f(x)=\frac{f(a)}{0!}(x-a)^0+\frac{f'(a)}{1!}(x-a)+\frac{f''(a)}{2!}(x-a)^2+...+\frac{f^n(a)}{n!}(x-a)^n+R_n(x) \tag{B.1}$$

现在要求f(x)的极小值，假设f(x)是二阶连续偏导数，若第k次迭代值为$x_{k}$,则可将f(x)在该点附近进行二阶泰勒展开：

$$f(x) =f(x^{k})+g_k^T(x-x^{k})+\frac{1}{2}(x-x^{k})^TH(x^{k})(x-x^{k}) \tag{B.2}$$

$$g_k =g(x^{k}) =\nabla(f(x^{k}) 就是梯度向量在当前点的值 \tag{B.3}$$

$$H(x^{k})=\left[ \frac{\partial^2 f }{\partial x_i\partial x_j} \right]_{n*n} 代表海森矩阵在该点的值$$

推导流程

我们知道求极值，必要条件是一阶导数为0，那么$\nabla f(x)=0$
我们利用$f(x)$推导一下：

$$\frac{\partial f(x) }{\partial x} =g_{k}+H(x^{k})(x-x^{k})$$

基于

$$\frac{\partial x^TAx }{\partial x} =2Ax$$

把一阶导数带入：

$$g_{k}+H(x^{k})(x^{k+1}-x^{k})=0\\ \tag{B.4}$$

$$x^{k+1}=x^{k}-H^{-1}_kg_{k} \tag{B.5}$$
至此找到了两次不同位置点的更新公式，那就找到了迭代方法。于是

算法流程

输入：$f(x)$，梯度$g(x)=\nabla f(x)$, 海塞矩阵$H(x)$, 精度要求$\varepsilon$
输出：$f(x)$的极小点$x^*$
算法步骤：

1. 初始化点$x^0,k=0$.
2. 计算梯度$g(x^k)$
3. $||g(x^k)||<\varepsilon$,则得到极小点$x^k$
4. 否则继续迭代$x^{k+1}=x^{k}-H^{-1}_kg_{k}$,得到k=k+1
5. 然后转步骤2

核心要点

1. 需要求极值
2. 然后泰勒公式展开
3. 然后求导，得到梯度和海塞矩阵
4. 极值满足必要条件梯度为0，所以推导出两次迭代的更新公式
5. 根据精度得到迭代跳出条件
6. 海塞矩阵逆矩阵是复杂度较高的计算，需要优化和计算解决的问题。

参考

http://blog.youkuaiyun.com/sunnyxiaohu/article/details/52456261