非线性最优化方法

最新推荐文章于 2025-06-02 22:36:11 发布

原创最新推荐文章于 2025-06-02 22:36:11 发布 · 1.4k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#数学建模

数学实验与数学建模专栏收录该内容

1 篇文章

订阅专栏

基本概念

最优化思想本质上就是求解一个可行的，甚至是最优的方案的决策问题。

可以被描述为： $Min\{f(x)| x\in D\}$ ，其中 $x=(x_{1},x_{2}\cdots x_{n})^{T}$ 代表一组决策变量，在 $R$ 内取值。

$f(x)$ —— 最优化模型的目标函数

$D$ —— $n$ 维欧氏空间 $R^{n}$ 的某个子集，通常由一组关于决策变量的等式或不等式刻画

eg. $Min~~~f(x)\\ ~~~s.t.~~~c_{i}(x)\geqslant 0~~~(i=1\dots m_{1})\\ ~~~~~~~~~~c_{i}(x)=0~~~(i=m_{1}+1\dots m)$

这其中的等式、不等式为约束条件，所有可行解构成的集合为该模型的可行域。

分类1（决策变量的取值类型）

函数优化问题（决策变量变化连续）
组合优化问题（决策变量离散取值）
混合型

分类2（问题中目标、约束条件函数形式或性质）

线性规划问题（最优化问题的目标、约束条件函数均为决策变量的线性函数）
非线性最优化问题
多目标规划问题（优化的目标是关于决策变量的一个函数组）

最优化问题最优解的一阶必要条件

无约束最优化方法基本算法

一维搜索

0.618法（黄金分割法）

注意：仅适用于单峰函数 $f(x),x\in [\alpha ,\beta ]$ （令 $\sigma =\frac{\sqrt 5-1}{2}$ ）

eg. 令 $f(x)=x^{2}$

f[x_] := x^2;
jd = 10^(-4);
aa = -1;
bb = 100;
AA = f[aa];
BB = f[bb];
cc = aa + 0.382*(bb - aa);
dd = aa + 0.618*(bb - aa);
CC = f[cc];
DD = f[dd];

it = 0;    (*iterator*)
While[bb - aa > jd,
  {it = it + 1;
   If[CC < DD,
    {bb = dd; BB = DD; dd = cc; DD = CC; cc = aa + 0.382*(bb - aa); 
     CC = f[cc]},
    {aa = cc; AA = CC; cc = dd; CC = DD; dd = aa + 0.618*(bb - aa); 
     DD = f[dd]}
    ]
   }];
Print["Slu=", aa, "   Val=", AA, "   it=", it]

基本思想：

每一次迭代都只需要多计算一个点的函数值，而剩下的长度就变成了约为原先的2/3倍。

二分法

注意：假如要使用二分法判断极点，那么要先对原函数求导，再使用二分法判断导函数的零点。

基本思想：

当迭代的两端点之间的距离大于所需的精度时，反复判断其中点值的正负性，每次取一个端点等于中点值进行迭代。

牛顿法、抛物线法（使用二次多项式逼近）

基本思想（插值法）：

利用对一些点处目标函数的函数值、一阶或二阶导数值构造目标函数在一点局部或者在一定范围内的二次多项式逼近模型，以逼近模型的最优解作为求解原最优化问题的一个迭代点。

一元函数二次多项式逼近模型的建立：

牛顿法：利用函数在一点处函数值、一阶及二阶导数值
抛物线法：利用三个不同点的函数值
利用两个不同点的函数值以及它们中一点的一阶导数值
利用两个不同点的一阶导数值以及它们中一点的函数值

牛顿法迭代公式：

$x_{k+1}=x_{k}-\frac{f'(x_{k})}{f''(x_{k})}$

抛物线法迭代公式：

$x_{k}=\frac{1}{2} \cdot \frac{(x^{2}_{k-1}-x^{2}_{k-2}) \cdot f(x_{k-3}) + (x^{2}_{k-3}-x^{2}_{k-1}) \cdot f(x_{k-2}) + (x^{2}_{k-2}-x^{2}_{k-3}) \cdot f(x_{k-1})}{(x_{k-1}-x_{k-2}) \cdot f(x_{k-3}) + (x_{k-3}-x_{k-1}) \cdot f(x_{k-2}) + (x_{k-2}-x_{k-3}) \cdot f(x_{k-1})}$