运筹学(2)-牛顿法

最新推荐文章于 2025-05-30 08:02:22 发布

原创

最新推荐文章于 2025-05-30 08:02:22 发布 · 4.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#函数 #迭代 #搜索 #算法 #优化

牛顿法是多维无约束优化的搜索算法，通过二次函数近似目标函数来确定搜索方向。它在目标函数为二次正定时能快速收敛。算法包括初始化、求解搜索方向和迭代更新等步骤。相较于最速下降法，牛顿法具有更快的收敛速度，但计算复杂且对非二次函数的收敛性能不理想。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

运筹学（2）
多维无约束优化算法——梯度法之牛顿法

一. 原理

牛顿法与最速下降法同属于求解多维无约束优化算法的搜索算法，也是梯度法的一种。但与最速下降法最大的不同在于为了避免最速下降法锯齿形的搜索路径在接近最优点时收敛过慢，牛顿法的迭代更新公式在搜索方向得选择策略上与最速下降法是最大的区别。牛顿法的思想就是在每一次迭代中，以一个二次函数来近似表示所要求解的目标函数，搜索迭代方向从迭代的那一点指向二次函数的极值点。并且如果目标函数为二次正定函数，牛顿法一次迭代就可以最优。
（1）搜索方向 $p$ 的计算
在 $x^{(k)}$ 处对 $f(x)$ 用一个二次函数代替得：