牛顿法——Newton法

原创已于 2024-10-24 10:05:37 修改 · 934 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #算法 #人工智能 #1024程序员节

于 2024-10-23 21:23:48 首次发布

牛顿法 Newton法

针对无约束优化问题
$min f (x)$

想法：对函数 $f (x)$ 在某 $x_k$ 值处Taylor展开，可在 $x_k$ 附近拟合该函数 $f (x)$ ，有：

$f(x)=f(xk)+f′(xk)(x−xk)+f′′(xk)(x−xk)22+of(x)=f(x_k)+ f'(x_k)(x-x_k)+f''(x_k)\frac{(x-x_k)^2}2+o$

即

$f(x)≈g(x)=f(xk)+∇f(xk)(x−xk)+∇2f(xk)(x−xk)22f(x)\approx g(x)=f(x_k)+ \nabla f(x_k)(x-x_k)+\nabla ^2f(x_k)\frac{(x-x_k)^2}2$

此时，用 $g (x)$ 近似 $f (x)$ ，转化为求 $g (x)$ 的极值点，使 $g^{'} (x) = 0$ ，求x即可，顺着这个想法

$∇g(x)=∇f(xk)+∇2f(xk)(x−xk)\nabla g(x)= \nabla f(x_k)+\nabla ^2f(x_k)(x-x_k)$

令 $∇g(x)=0\nabla g(x)=0$

$∇f(xk)+∇2f(xk)(x−xk)=0\nabla f(x_k)+\nabla ^2f(x_k)(x-x_k)=0$

可得

$x=xk−∇f(xk)[∇2f(xk)]−1x=x_k-\nabla f(x_k)[\nabla ^2f(x_k)]^{-1}$

得到了拟合函数 $g (x)$ 在 $x_k$ 附近的最小值点，
回到函数 $f (x)$ ，相当于对x进行了迭代，更新为 $x_{k+1}$ ，可继续进行迭代。
方向为 $pk=−∇f(xk)[∇2f(xk)]−1p_k=-\nabla f(x_k)[\nabla ^2f(x_k)]^{-1}$ ，步长为 $αk=1\alpha_k=1$

回头看，要求海塞矩阵是正定的，不然无法求逆，无法进行迭代。

Newton算法

设定控制误差 $ϵ>0\epsilon>0$

选取初始点 $x_k$ ，令 $k = 0$
计算梯度 $∇f(xk)\nabla f(x_k)$
若 $∣∣∇f(xk)∣∣≤ϵ||\nabla f(x_k)||\leq\epsilon$ ，则 $x^*=x_k$ ，迭代停止；
否则，计算海塞矩阵并求逆 $[∇2f(xk)]−1[\nabla ^2f(x_k)]^{-1}$ ，构造牛顿方向 $pk=−∇f(xk)[∇2f(xk)]−1p_k=-\nabla f(x_k)[\nabla ^2f(x_k)]^{-1}$
令 $x_{k+1}=x_{k}+p_k, k=k+1$ ，转2