牛顿法

最新推荐文章于 2025-01-03 01:37:08 发布

prupcognition

最新推荐文章于 2025-01-03 01:37:08 发布

阅读量341

点赞数

CC 4.0 BY-SA版权

分类专栏：基础数学

本文链接：https://blog.youkuaiyun.com/m0_37896765/article/details/90521596

基础数学专栏收录该内容

10 篇文章

订阅专栏

博客介绍了牛顿法的两个应用方向，一是求方程的根，利用泰勒公式一阶展开，通过迭代求解使结果收敛于方程的根；二是求极值，对函数进行二阶泰勒展开，将前三项看作二次函数求导得到极值点，当变量为多变量时涉及雅可比矩阵和Hessian矩阵。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

牛顿法至少有两个应用方向，1、求方程的根，2、最优化

1：求方程的根
原理是利用泰勒公式，在x0处展开，且展开到一阶，即f(x) = f(x0)+(x－x0)f’(x0)
求解方程f(x)=0，
即：
f(x0)+(x-x0)f’(x0)=0，
x = x1=x0－f(x0)/f’(x0)，
因为这是利用泰勒公式的一阶展开，f(x) = f(x0)+(x－x0)f’(x0)处并不是完全相等，而是近似相等，这里求得的x并不能让f（x）=0，只能说f(x)的值比f(x0)更接近f（x）=0，于是乎，迭代求解的想法就很自然了，可以进而推出x(n+1)=x(n)－f(x(n))/f’(x(n))，通过迭代，这个式子必然在f（x）=0的时候收敛。整个过程如下图：
在这里插入图片描述

2：牛顿法求极值
对函数f(x)进行二阶泰勒展开
在这里插入图片描述
这里把前三项看作关于 $Δx的二次函数g(Δx),对该函数求导获得函数的极值点有\Delta_x 的二次函数g(\Delta_x ),对该函数求导获得函数的极值点有$
$f′′(x0)Δx+f′(x0)=0f''(x_0)\Delta_x+f'(x_0)=0$
$f''(x_0)(x-x_0)+f'(x_0)=0$
$x−x0=−f′(x0)f′′(x0)x-x_0=-\frac{f'(x_0)}{f''(x_0)}$
$x=x0−f′(x0)f′′(x0)x=x_0-\frac{f'(x_0)}{f''(x_0)}$
当 $x_0$ 是多变量时,定义一阶导数雅可比矩阵为 $J_f(X_n)$
在这里插入图片描述
二阶导数为Hessian矩阵

牛顿法演变为：