牛顿法与拟牛顿法详解-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_24034545/article/details/84788548

本文介绍了牛顿法及其变种，包括基本描述、阻尼牛顿法，以及拟牛顿算法的原理和常见类型如DFP、BFGS、L-BFGS。这些方法用于解决函数极值和方程根的问题，通过迭代更新策略逼近解决方案，其中拟牛顿法降低了计算复杂度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：牛顿法与拟牛顿法学习笔记

参考：理解牛顿法

牛顿算法

1.基本描述

牛顿法不仅可以用来求解函数的极值问题，还可以用来求解方程的根，二者在本质上是一个问题，因为求解函数极值的思路是寻找导数为0的点，这就是求解方程。

1.将原函数在当前点 $x_k$ 做二阶泰勒展开

$f(x)=f(x_k)+{f(x_k)}'(x-x_k)+\frac{1}{2}{f(x_k)}''(x-x_k)^2$

2.求极值的必要条件

${f(x)}'=0$ 即 ${f(x_k)}'+{f(x_k)}''(x-x_k)=0$

得到

$x = x_k-\frac{{f(x_k)}'}{{f(x_k)}''}$

3.给定初始值 $x_0$ ，构造迭代式

$x_{k+1}=x_k-\frac{{f(x_k)}'}{{f(x_k)}''}, k=0,1,...$

产生的序列 $\{x_k\}$ 来逼近 $f(x)$ 的极小点，在一定条件下 $\{x_k\}$ 可以收敛到 $f(x)$ 的极小点。

1.当数据维度大于1时，原函数的二阶泰勒展开式变成如下格式

$f(x)=f(x_{k})+\Delta {f(x_{k})}(x-x_{k})+\frac{1}{2} (x-x_{k})^T \Delta^2 f(x_{k})(x-x_{k})$

其中

$\Delta f=\begin{bmatrix} \frac{\partial f}{\partial x_1}\\ \frac{\partial f}{\partial x_2}\\ ...\\ \frac{\partial f}{\partial x_N} \end{bmatrix}$ $\Delta^2f = \begin{bmatrix} \frac{\partial^2 f}{\partial^2 x_1} & \frac{\partial^2 f}{\partial x_1\partial x_2} & ... & \frac{\partial^2 f}{\partial x_1\partial x_N} \\ \frac{\partial^2 f}{\partial x_1 \partial x_2} & \frac{\partial^2 f}{\partial^2 x_2} & ... & \frac{\partial^2 f}{\partial x_2\partial x_N} \\ ...&...&...&...\\ \frac{\partial^2 f}{\partial x_N \partial x_2} & \frac{\partial^2 f}{\partial x_N \partial x_2} & ... & \frac{\partial^2 f}{\partial^2 x_N} \end{bmatrix}$