最优化方法详解：从梯度下降到拟牛顿法-优快云博客

本文链接：https://blog.youkuaiyun.com/sherrylml/article/details/53781163

本文总结了最优化方法，包括无约束最优化问题的梯度下降、牛顿法、共轭方向法和拟牛顿法。介绍了各种方法的基本思想、优缺点以及适用场景，特别强调了牛顿法的二阶收敛速度和共轭梯度法的高效性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

概述

最优化问题的一般数学模型：
$min\ f(\mathbf x)$
$s.t. \ h_i(\mathbf x) = 0,\quad i=1,...,m;$
$\qquad g_j(\mathbf x)\ge0, \quad j=1,...,p.$

其中 $\mathbf x$ 是n维向量，在实际问题中也被叫做决策变量，s.t.为subject to的缩写，用来表示约束条件，因此， $h_i(\mathbf x)$ 和 $g_j(\mathbf x)$ 称为约束函数，其中 $h_i(\mathbf x) = 0$ 为等式约束， $g_j(\mathbf x)\ge0$ 为不等式约束。求极小值的函数f称为目标函数，求极大值的问题可以通过取负数转换为极小值问题，因此这里都以极小值问题来讨论。

因此，根据有无约束函数，可以将最优化问题分为有约束最优化和无约束最优化问题;根据目标函数和约束函数的类型，可分为线性规划（目标函数和约束函数均为线性函数）和非线性规划; 另外，如目标函数为二次函数，而约束函数全部是线性函数的最优化问题称为二次规划问题，当目标函数不是数量函数而是向量函数时，就是多目标规划，还有用于姐姐多阶段决策问题的动态规划等

最优化方法的一般迭代算法，以下降算法为例：
给定初始点 $\mathbf x_0, k = 0$
(1) 确定点 $x_k$ 处的可行下降方向 $\mathbf p_k$ ;
(2)确定步长 $\alpha_k\gt 0$ ，使得 f(xk+