最优化方法详解：迭代法与收敛速度-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_41679006/article/details/80931111

本文主要探讨最优化问题的一般形式、优化问题的迭代解法，特别是聚焦于迭代法的收敛速度定义及算法复杂度分析。介绍了包括点距准则、函数下降量准则、梯度准则在内的计算终止条件，并以爬山算法为例展示了基本流程。同时，讨论了时间复杂度和空间复杂度在优化算法中的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

主要参考书目：
1. 最优化方法及其应用/郭科，陈聆，魏友华.-北京：高等教育出版社,2007.7(2013.7重印)

min X \in Ω f (X), s . t . {G (X) \geq 0 ， H (X) = 0 ，

$\min_{X\in\Omega } f(X),\\ s.t.\{\begin{array}{} G(X) \geq 0，\\ H(X) = 0， \end{array}$
其中

G(X)=[g1(X),⋯,gl(X)]TG(X)=[g1(X),⋯,gl(X)]T $G(X)= [g_{1}(X),\cdots,g_{l}(X)]^T$ ，

H(X)=[h1(X),⋯,hm(X)]TH(X)=[h1(X),⋯,hm(X)]T $H(X)= [h_{1}(X),\cdots,h_{m}(X)]^T$ 。

解析法只适用于某些简单或特殊的问题，一帮情况下，使用迭代法解决优化问题。

收敛速度
定义：设由算法A产生的迭代点列 $\{X_k\}$ 在某种“ $||\cdot||$ ”的意义下收敛于点 $X^*$ ,即
$lim k \to 0 | | X k - X * | | = 0,$ $\lim_{k\to0}||X_k-X^*||=0,$ 若存在实数及一个与迭代次数k无关的常数 $q>0$ ，使得 $lim k \to 0 | | X k + 1 - X * | | | | X k - X * | | α = q,$ $\lim_{k\to0}\dfrac{||X_{k+1}-X^*||}{||X_k-X^*||^{\alpha}}=q,$ 则称算法A为a阶收敛算法。
一般来说一个算法若能满足 $a>1$ ,即是一个收敛较快的算法。
这种定义是对应于“爬山”算法定义的，对于退火（其实问题不大，因为k趋于无穷时更差的解被接受的概率趋于0）和遗传等方法不能直接套用
计算终止准则
1.点距准则

$| | X k + 1 - X k | | \leq ε$ $||X_{k+1}-X_{k}||\leq\varepsilon$
$\varepsilon$ 是一个充分小的数，反应计算精度。
2.函数下降量准则
$| f (X k + 1) - f (X k) | \leq ε$ $|f(X_{k+1})-f(X_{k})|\leq\varepsilon$
当 $|f(X_{k+1})|>1$ 时，可用：
$| f ( X k + 1 ) - f ( X k ) f ( X k + 1 ) | \leq ε$ $|\dfrac{f(X_{k+1})-f(X_{k})}{f(X_{k+1})}|\leq\varepsilon$
$\varepsilon$ 是一个充分小的数，反应计算精度。
3.梯度准则
$| | ▽ f (X k + 1) | | \leq ε$ $||\triangledown f(X_{k+1})||\leq\varepsilon$
这一准则对于定义域上的凸函数没有问题，但是对于凹函数有可能误把驻点作为最优点
基本流程
（以爬山算法为例）