最优化总复习

常见范数

1：p范数
$$||x|{|}_p=(\sum _{i=0}^n|x_i{|}^p{)}^{1/p}$$
2：$\infty$ 范数
$$||x|{|}_{\infty }=\underset{1\le i\le n}{\max }|x_i|$$

内积运算

<y,z>=<z,y>
<ay,z>=a<y,z>
<x+y,z>=<x,z>+<y,z>
其中<y,z>=||y||*||z||,并且||y||²=<y,y>

学过的最优化问题分类

$$\text{最优化分类}=\{\begin{array}{l}\text{线性规划}\{\begin{array}{l}\text{单纯形法}\\ \text{大M法}\\ \text{两阶段法}\\ \text{对偶单纯形法}\end{array}\\ \text{非线性规划}\{\begin{array}{l}\text{无约束非线性}\{\begin{array}{l}{x}^{\ast }是局部最优解->\nabla f(x^{\ast })=0,并且{\nabla }^{2}f(x^{\ast })是半正定矩阵\\ \nabla f(x^{\ast })=0,并且{\nabla }^{2}f(x^{\ast })是正定矩阵->x^{\ast }是局部最优解\end{array}\\ \text{有约束非线性}\{\begin{array}{l}K-T条件求解\end{array}\\ \text{一阶线性搜索}\{\begin{array}{l}黄金分割法\\ Fibonacci法\end{array}\\ \text{多维无约束非线性}\{\begin{array}{l}最速下降法\\ 牛顿法\\ 阻尼牛顿法\\ 带保护的牛顿法\\ 共轭梯度法\\ FR共轭梯度法\end{array}\\ \text{多维有约束非线性}\{\begin{array}{l}思路：转化为多维无约束条件问题，再使用外点法、内点法、乘子法求解\\ 等式约束转化：构造p(x.M)=f(x)+M\tilde{p}(x)\{\begin{array}{l}M很大，一般让他趋近\infty 与来求值\\ \tilde{p}(x)={\sum }_{j=1}^q[h_j(x){]}^2\end{array}\\ 不等式约束转化：构造p(x.M)=f(x)+M\tilde{p}(x)\{\begin{array}{l}M很大，一般让他趋近\infty 与来求值\\ \tilde{p}(x)={\sum }_{i=1}^p[min(0,g_i(x)){]}^2\\ 注意这里的g_i(x)\ge 0,如果小于0要转化成-g_i(x)\ge 0\end{array}\end{array}\end{array}\\ \text{多目标优化}\{\begin{array}{l}常见评价函数\{\begin{array}{l}线性加权法\\ 理想点法\\ 平方和加权法\end{array}\\ 权数确定\{\begin{array}{l}老手法\\ \partial -方法\\ 计算机求解-matlab\end{array}\end{array}\end{array}$$

常见的求解最优化问题的matlab函数

0-1规划 Bintprog
线性规划 linprog
非线性规划 finincon
最大最下法 fminimax

K-T条件

特殊字符大全
$x^{\ast }$是目标函数的最优解：$$\nabla f(x^{\ast })+\sum _{i\in I^{\ast }}{⋋}_i^{\ast }\nabla g_i(x^{\ast })+\sum _{j\in J^{\ast }}{\mu }_j^{\ast }\nabla h_j(x^{\ast })=0$$
其中$g(x)$表示不等式约束，$I^{\ast }$表示不等式约束的个数；$h(x)$表示等式约束，$J^{\ast }$表示不等式约束的个数
举两个列子：
列1:用K-T条件求解下面问题：
$minf(x_1,x_2)=(x_1-1{)}^2+(x_2-2{)}^2$
$$st:\{\begin{array}{ll}{x}_1-x_2\le 0& ①\\ -x_1\le 0& ②\\ -x_2\le 0& ③\\ -x_1+x_2-1=0& ④\end{array}$$
① ② ③表示不等式约束，即$g(x)$有三个
④表示不等式约束，即$h(x)$有一个
$$计算出\nabla f(x)=\left(\begin{array}{c}2(x_1-1)\\ 2(x_2-2)\end{array}\right)即f(x_1,x_2)分别对x_1和x_2求导$$
$$继续求得\nabla g_1(x)=\left(\begin{array}{c}1\\ -1\end{array}\right)\nabla g_2(x)=\left(\begin{array}{c}-1\\ 0\end{array}\right)\nabla g_3(x)=\left(\begin{array}{c}0\\ -1\end{array}\right)$$其中$g_1(x),g_2(x),g_3(x)$分别表示等式约束① ② ③对$x_1,x_2$求导所得,同样的得到:$$\nabla h(x)=\left(\begin{array}{c}-1\\ 1\end{array}\right)$$
带入公式
$$\nabla f(x^{\ast })+\sum _{i\in I^{\ast }}{⋋}_i^{\ast }\nabla g_i(x^{\ast })+\sum _{j\in J^{\ast }}{\mu }_j^{\ast }\nabla h_j(x^{\ast })=0$$
得到：
$$\left(\begin{array}{c}2(x_1-1)+{⋋}_1-{⋋}_2+\mu \\ 2(x_2-1)-{⋋}_1-{⋋}_3+\mu \end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$$
取特殊的$x_1=1,x_2=2$,此时带入st里面发现① ② ③都严格小于0，都是非有效约束，于是${⋋}_1={⋋}_2={⋋}_3=0$，此时的$\mu =0$

**列2：**验证$x^{\ast }(1,1,1,{)}^T$是否满足下列问题的K-T条件：
$minf(x_1,x_2,x_3)=-x_1^2-x_2^2-2x_3^3)$
$$st:\{\begin{array}{ll}{x}_1-x_2\le 0& ①\\ -x_1\le 0& ②\\ -x_2\le 0& ③\\ -x_3\le 0& ④\\ x_1^2+x_2^2+x_3^2=3& ⑤\end{array}$$
先把$x^{\ast }(1,1,1)$带入① ② ③ ④等式约束里面，其中只有①严格取等号，于是$g(x)$只有一个，⑤等式约束也只有一个，即$h(x)$有一个。
$$带入x^{\ast }(1,1,1)得到：\nabla f(x)=\left(\begin{array}{c}-6x_1\\ -2x_2\\ -4x_3\end{array}\right)=\left(\begin{array}{c}-6\\ -2\\ -4\end{array}\right)$$
$$①对x_1,x_2求导,并带入x^{\ast }得到\nabla g(x)=\left(\begin{array}{c}1\\ -1\\ 0\end{array}\right),\nabla h(x)=\left(\begin{array}{c}2x_1\\ 2x_2\\ 2x_3\end{array}\right)=\left(\begin{array}{c}2\\ 2\\ 2\end{array}\right)$$
带入K-T条件公式得到：
$$\left(\begin{array}{c}-6\\ -2\\ -4\end{array}\right)+{⋋}_1\left(\begin{array}{c}1\\ -1\\ 0\end{array}\right)+{\mu }_1\left(\begin{array}{c}2\\ 2\\ 2\end{array}\right)=\left(\begin{array}{c}0\\ 0\\ 0\end{array}\right)⟹\{\begin{array}{l}{\mu }_1=2\\ {⋋}_1=2\end{array}$$
解出来μ_1，⋋_1有解，于是$x^{\ast }$满足问题的K-T条件。

多维非线性规划

外点罚函数法

$一般约束问题构造函数:$
$minf(x),x\in R^n$
s t : { g i ( x ) ≥ 0 , i ∈ I = { 1 , . . . , p } h j ( x ) ≥ 0 , j ∈ J = { 1 , . . . , q } st:\begin{cases} g_i(x)\ge0,i\in I=\{1,...,p\}\\ h_j(x)\ge0,j\in J=\{1,...,q\}\\ \end{cases} st:{gi​(x)≥0,i∈I={1,...,p}hj​(x)≥0,j∈J={1,...,q}​
$$构造P(x,M)=f(x)+M\tilde{p}(x),其中M趋近于\infty$$
$$\tilde{p}(x)=\sum _{i=1}^p[min(0,g_i(x)){]}^2+\sum _{j=1}^q[h_j(x){]}^2$$
$列1：用外点罚函数法求解:$
$minf(x)=x_1^2+x_2^2$
$st:x_1+1\le 0$
$$解：构造P(x,M)=x_1^2+x_2^2+M[min(0,-x_1-1){]}^2$$
即$$P(x,M)=\{\begin{array}{l}{x}_1^2+x_2^2,-x_1-1\ge 0\\ x_1^2+x_2^2+M(-x_1-1{)}^2,-x_1-1<0\end{array}$$
$$其中P^{\prime }{x}_1=\{\begin{array}{l}2x_1,x_1\le -1①\\ 2x_1+2M(x_1+1),x_1>-1②\end{array}$$
$P^{\prime }{x}_2=2x_2$
$$由\nabla P(x,M)=\left(\begin{array}{c}{P}^{\prime }{x}_1\\ P^{\prime }{x}_2\end{array}\right)\left(\begin{array}{c}0\\ 0\end{array}\right)知①不满足$$
$于是就有x_1=(-2M)/(2+2M),x_2=0$
$此时的M趋近于\infty 时，x_1=-1,x_2=0$

内点罚函数法

$minf(x),x\in R^n$
s t : g i ( x ) ≥ 0 , i ∈ I = { 1 , 2 , . . . , p } st:g_i(x)\ge0,i\in I=\{1,2,...,p\} st:gi​(x)≥0,i∈I={1,2,...,p}
$$构造B(x,r)=f(x)+r\tilde{B}(x),其中r趋近于0$$
$$\tilde{B}(x)=\sum _{i=1}^{p}1/g_i(x)或\tilde{B}(x)=-\sum _{i=1}^{p}ln{g}_i(x)$$
$这里就是看那个构造方法更好求解就选哪个$