工程优化笔记

工程优化笔记

---

第1章

优化模型一般形式：
$$\begin{array}{l}\min f(x)\\ \text{s.t.}\{\begin{array}{l}{g}_i(x)\ge 0,i=1,2,\cdots ,m;\\ h_j(x)=0,i=1,2,\cdots ,l;\end{array}\\ x=(x_1,\cdots ,x_n)\end{array}$$

---

第2章

方向导数与梯度

方向导数：
$$\frac{\partial f(x_0)}{\partial p}=\underset{x\to 0^{+}}{\lim }\frac{f(x_0+te)-f(x_0)}{t}$$
梯度：
$$\nabla f(x)={\left(\frac{\partial f(x)}{\partial f(x_1)},\frac{\partial f(x)}{\partial f(x_2)},\cdots ,\frac{\partial f(x)}{\partial f(x_n)}\right)}^T$$
关系：
$$\frac{\partial f(x_0)}{\partial p}=\nabla f(x_0{)}^T\cdot e=\Vert \nabla f(x_0)\Vert \cdot \cos \beta$$
性质：

• 梯度方向即为函数最速上升方向；负梯度方向即为函数最速下降方向。

• 函数在某点的梯度不为零，则必与过该点的等值面的切平面垂直。

• $\nabla f(x_0{)}^T\cdot p<0$ ，则$p$是函数$f(x)$在$x_0$处的下降方向；$\nabla f(x_0{)}^T\cdot p>0$ ，则$p$是函数$f(x)$在$x_0$处的上升方向。

Hesse矩阵

$${\nabla }^{2}f(x)=\nabla (\nabla f(x))=\left[\begin{array}{cccc}\frac{{\partial }^{2}f(x)}{\partial x_1^2}& \frac{{\partial }^{2}f(x)}{\partial x_1\cdot \partial x_2}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_1\cdot \partial x_n}\\ \frac{{\partial }^{2}f(x)}{\partial x_2\cdot \partial x_1}& \frac{{\partial }^{2}f(x)}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_2\cdot \partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f(x)}{\partial x_n\cdot \partial x_1}& \frac{{\partial }^{2}f(x)}{\partial x_n\cdot \partial x_2}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_n^2}\end{array}\right]$$

多元函数Taylor展开公式

$$f(x)=f(x^{\ast })+\nabla f(x^{\ast })(x-x^{\ast })+\frac{1}{2}(x-x^{\ast }{)}^T{\nabla }^{2}f(x^{\ast })(x-x^{\ast })+o({\Vert x-x^{\ast }\Vert }^2)$$

二次函数一般形式

$$\begin{gathered} f(x)=\frac{1}{2}{x}^{T}Qx+b^{T}x+c \\ Q=Q^T \end{gathered}$$

二次型：
$$f(x)=\frac{1}{2}{x}^{T}Qx$$
判断对称矩阵是否正定：一个$n\times n$对称矩阵$Q$是正定矩阵的充要条件是各阶顺序主子式都是正的。

$Q$正定，则二次型$f(x)=\frac{1}{2}{x}^{T}Qx$、二次函数$f(x)=\frac{1}{2}{x}^{T}Qx+b^{T}x+c$具有唯一极小点，该极小点为$x^{\ast }=-Q^{-1}b$。

多元函数极值判别条件

1. 必要条件

设$f(x):D\subseteq R^n\to R$，$x^{\ast }$为$D$的一个内点，$f(x)$在$x^{\ast }$可微，$x^{\ast }$为$f(x)$的极值点，则$\nabla f(x^{\ast })=0$

2. 充分条件

设$f(x):D\subseteq R^n\to R$，$x^{\ast }$为$D$的一个内点，$f(x)$在$x^{\ast }$二次连续可微，$\nabla f(x^{\ast })=0$，${\nabla }^{2}f(x)$正定，则$x^{\ast }$为$f(x)$的严格局部极小点

可行方向

以点$x$为初始点的向量$x+\alpha h$均位于$D$的内部，则称$h$为点$x$的一个可行方向。

若$x$为$D$的内点，则任何方向$h$都是可行方向；若$x$为$D$的边界点，则只有一部分为可行方向

凸组合

设$x^1,x^2,\cdots ,x^m\in R^n,{\lambda }_i\ge 0,{\sum }_{i=1}^m{\lambda }_i=1$，则称${\sum }_{i=1}^m{\lambda }_i{x}_i$为$x^1,x^2,\cdots ,x^m$的凸组合

凸集

定义：

若集合$D$中任意两点的连线都属于$D$，则称$D$为凸集。

（$\alpha x^1+(1-\alpha )x^2\in D,\forall \alpha \in [0,1]$）

规定空集和单元素也是凸集

性质：

1. 设$A,B$是凸集，则$A\cap B,A+B,A-B$也是凸集。但是$A\cup B$不一定为凸集。
2. $S$是凸集$\iff$$S$中任意有限多个点的凸组合属于$S$。

凸函数

设集合$D$为凸集，函数$f:D\to R$，若$\forall x^1,x^2\in D,\alpha \in (0,1)$，均有
$$f(\alpha x^1+(1-\alpha )x^2)\le \alpha f(x^1)+(1-\alpha )f(x^2)$$

凸函数判定定理

1. 一阶条件

设集合$D$为非空凸集，函数$f:D\to R$在$D$上可微，则

（1）$f$在$D$上为凸函数$\iff$$\forall x^1,x^2\in D$，恒有
$$f(x^2)\ge f(x^1)+\nabla f(x^1{)}^T(x^2-x^1)$$
（2）$f$在$D$上为严格凸函数$\iff$$\forall x^1,x^2\in D$，恒有
$$f(x^2)>f(x^1)+\nabla f(x^1{)}^T(x^2-x^1)$$

2. 二阶条件

设集合$D$为非空凸集，函数$f:D\to R$在$D$上二次可微，则

（1）$f$在$D$上为凸函数$\iff$$\forall x\in D$，${\nabla }^{2}f(x)$半正定

（2）$f$在$D$上为严格凸函数$\iff$$\forall x\in D$，${\nabla }^{2}f(x)$正定

---

第3章 一维搜索

线搜索迭代基本步骤

1. 选择初始点$x^1$，并令$k=1$
2. 确定搜索方向$d^k$
3. 从$x^k$出发，沿方向$d^k$求步长${\lambda }_k$，以产生下一个迭代点$x^{k+1}$
4. 检测$x^{k+1}$是否为极小点或近似极小点。若是，停止迭代；否则，令$k=k+1$，跳转第2步继续迭代。

精确一维搜索

”成功-失败“法

1. 选取初始${\lambda }_0,h_0$，计算${\phi }_0=\phi ({\lambda }_0)$
2. 令${\lambda }_{k+1}={\lambda }_k+h_k$，计算${\phi }_{k+1}=\phi ({\lambda }_{k+1})$。如果${\phi }_{k+1}<{\phi }_k$，则执行第3步；否则，跳转第4步。
3. 增加步长。令$h_{k+1}=2h_k$，跳转第2步进行下一次迭代。
4. 如果$k=0$，则应该反向搜索，令$h_1=-h_0$，跳转第2步，开始迭代；否则，停止迭代，输出区间。

0.618法

1. 选取初始区间$[a,b]$，计算插入点$x_1=a+0.382(b-a),x_2=a+0.618(b-a)$
2. 如果$\left|b-a\right|<\epsilon$，则停止迭代，可选择区间中点作为输出点$x^{\ast }=\frac{a+b}{2}$。否则，当$f(x_1)>f(x_2)$时，跳转第3步；当$f(x_1)\le f(x_2)$时，跳转第4步。
3. 令$a=x_1,x_1=x_2$，计算$x_2=a+0.618(b-a)$，跳转第2步
4. 令$b=x_2,x_2=x_1$，计算$x_1=a+0.382(b-a)$，跳转第2步

二分法

1. 计算$x_0=\frac{a+b}{2}$
2. 如果$f^{\prime }(x_0)<0$，令$a=x_0$，跳转第3步；如果$f^{\prime }(x_0)>0$，令$b=x_0$，跳转第3步；如果$f^{\prime }(x_0)=0$，停止迭代，$x^{\ast }=x_0$。
3. 如果$\left|b-a\right|<\epsilon$，则$x^{\ast }=\frac{a+b}{2}$，停止迭代；否则，跳转第1步。

牛顿法

1. 给定初始点$x_1$
2. 计算$f^{\prime }(x_k),f^{\prime \prime }(x_k)$
3. 如果$\left|f^{\prime }(x_k)\right|<\epsilon$，停止迭代，$x^{\ast }\approx x_k$；否则，跳转第4步
4. 计算$x_{k+1}=x_k-\frac{f^{\prime }(x_k)}{f^{\prime \prime }(x_k)}$，令$k=k+1$，跳转第2步。

三点二次插值法

1. 寻找三个初始点，满足条件：$x_1<x_2<x_3,f(x_1)>f(x_2)<f(x_3)$
2. 构造$\varphi (x)=a_0+a_{1}x+a_2{x}^2$，根据$x_1,x_2,x_3,f(x_1),f(x_2),f(x_3)$求解出$a_0,a_1,a_3$。由二次函数性质，$\varphi (x)$极小值点为$\bar{x}=-\frac{a_1}{2a_2}$
3. 如果$\left|x_2-\bar{x}\right|<\epsilon$，则迭代结束，取$x^{\ast }=\bar{x}$；否则，在点$x_1,x_2,x_3,\bar{x}$中，选取使得$f(x)$最小的点作为新的$x_2$，新的$x_1,x_3$为离新的$x_2$最近的左右两点，跳转第2步，继续迭代。

非精确一维搜索

Armijo-Goldstein准则

${\lambda }_k$要满足下式：
$$\{\begin{array}{l}f(x^k+{\lambda }_k{d}^k)-f(x^k)\le {\lambda }_k\rho g_k^T{d}^k\\ f(x^k+{\lambda }_k{d}^k)-f(x^k)\ge {\lambda }_k(1-\rho )g_k^T{d}^k\end{array}$$
其中，一般$\rho \in (0,\frac{1}{2})$

Wolfe-Powell准则

${\lambda }_k$要满足下式：
$$\{\begin{array}{l}f(x^k+{\lambda }_k{d}^k)-f(x^k)\le {\lambda }_k\rho g_k^T{d}^k\\ g_{k+1}^T{d}^k\ge \sigma g_k^T{d}^k\end{array}$$
其中，一般$\rho \in (0,1),\sigma \in (\rho ,1)$

后退法

1. 令$\lambda =1$
2. 如果$f(x^k+{\lambda }_k{d}^k)-f(x^k)\le {\lambda }_k\rho g_k^T{d}^k$，则令${\lambda }_k=\lambda$，停止迭代。否则，跳转第3步。
3. 令$\lambda =\omega \lambda ,\omega \in [l,u]$，跳转第2步。

---

第4章 无约束优化方法

最速下降法

1. 给定初始条件$x^1,\epsilon >0,k=1$
2. 若$\Vert \nabla f(x^k)\Vert \le \epsilon$，则$x^{\ast }\approx x^k$；否则，跳转第3步。
3. 令$d^k=-\nabla f(x^k)$
4. 由精确一维搜索确定步长${\lambda }_k$，令$x^{k+1}=x^k+{\lambda }_k{d}^k,k=k+1$，跳转第2步继续迭代。

特征：

1. 相邻两次迭代的搜索方向相互正交。
2. 对于二元正定二次函数，最速下降法产生的点列：偶数点列均在一条直线上，奇数点列均在一条直线上，且都过最优点。

牛顿法

1. 给定初始条件$x^1,\epsilon >0,k=1$
2. 若$\Vert \nabla f(x^k)\Vert \le \epsilon$，则$x^{\ast }\approx x^k$；否则，跳转第3步。
3. 令$d^k=-({\nabla }^{2}f(x^k){)}^{-1}\nabla f(x^k)$
4. 令$x^{k+1}=x^k+d^k,k=k+1$，（步长取常数1），跳转第2步继续迭代。

当$f$为正定二次函数时，用牛顿法可从任意初始点一步迭代到极小点。

牛顿法改进：

1. 阻尼牛顿法

在牛顿法中，加入精确一维搜索求最佳步长${\lambda }_k$，所以迭代点为$x^{k+1}=x^k+{\lambda }_k{d}^k$

2. 每m次迭代使用同一个Hesse阵

3. Goldstein-Price方法

$$d^k=\{\begin{array}{l}-({\nabla }^{2}f(x^k){)}^{-1}\nabla f(x^k),{\nabla }^{2}f(x^k)\text{正定}\\ -\nabla f(x^k),\text{否则}\end{array}$$

并且采用Armijo-Goldstein准则进行非精确一维搜索。

4. Levenberg-Marguard方法

找到尽可能小的$\mu >0$使得${\nabla }^{2}f(x^k)+\mu I$正定，用${\nabla }^{2}f(x^k)+\mu I$取代${\nabla }^{2}f(x^k)$进行迭代。

共轭梯度法

定义1：设$A_{n\times n}$是对称正定矩阵，$p,q\in R^n$，如果$p^{T}Aq=0$，则称向量$p$和$q$是$A$共轭的。

定义2：如果对有限个向量$p^1,p^2,\cdots ,p^m$，有$(p^i{)}^{T}A{p}^j=0,(i\ne j,j=1,2,\cdots ,m)$，则称这个向量组为$A$的共轭向量组。

步骤：

令$f(x)=\frac{1}{2}{x}^{T}Ax+b^{T}x+c$，$A$对称正定。

1. 从初始点$x^1$出发，先沿负梯度方向进行精确一维搜索：$p^1=-\nabla f(x^1),x^2=x^1+{\lambda }_1{p}^1$
2. 如果$\Vert \nabla f(x^{k+1})\Vert \le \epsilon$，停止迭代$x^{\ast }=x^{k+1}$；否则，跳转第3步。
3. 令

$$p^{k+1}=-\nabla f(x^{k+1})+{\alpha }_k{p}^k,{\alpha }_k=\frac{\nabla f(x^k)A{p}^k}{(p^k{)}^{T}A{p}^k}$$

4. 在$p^k$方向上进行精确一维搜索得到${\lambda }_k$，令$x^{k+1}=x^k+{\lambda }_k{p}^k$，跳转第2步继续迭代。

等价公式：

$f$为正定二次函数，令$g_k=\nabla f(x^k)$

1. Daniel共轭梯度法

$${\alpha }_k=\frac{(g_{k+1}{)}^{T}A{p}^k}{(p^k{)}^{T}A{p}^k}$$

2. SW共轭梯度法

$${\alpha }_k=\frac{(g_{k+1}{)}^T(g_{k+1}-g_k)}{(p^k{)}^T(g_{k+1}-g_k)}$$

$g_{k+1}-g_k=A{x}^{k+1}+b-g_k=A(x^k+{\lambda }_k{p}^k)+b-g_k={\lambda }_{k}A{p}^k$

3. DM共轭梯度法

$${\alpha }_k=-\frac{(g_{k+1}{)}^T{g}_{k+1}}{(p^k{)}^T{g}_k}$$

$(g_{k+1}{)}^T{g}_k=0,(g_{k+1}{)}^T{p}^k=0$

4. FR共轭梯度法

$${\alpha }_k=\frac{{\Vert g_{k+1}\Vert }^2}{{\Vert g_k\Vert }^2}$$

$(p^k{)}^T{g}_k=(-g_k+{\alpha }_{k-1}{p}^{k-1}{)}^T{g}_k=-(g_k{)}^T{g}_k$

5. PPR共轭梯度法

$${\alpha }_k=\frac{(g_{k+1}{)}^T(g_{k+1}-g_k)}{(g^k{)}^T{g}_k}$$

变尺度法（拟牛顿法）

构造$H_k$满足下列条件：

1. 拟牛顿性质（$\Delta x^k=H_{k+1}\Delta g_k$）
2. 对称正定
3. 当$f$是$n$元正定二次函数时，$p^1,p^2,\cdots ,p^n$是共轭向量组，其中$p^k=-H_k{g}_k$

$H_k$构造一般策略：

1. $H_1$取任意一个$n$阶对称正定矩阵，通常取单位阵$I$
2. 修正$H_k$，给出$H_{k+1}$，令$H_{k+1}=H_k+\Delta H_k$。（构造不同的$\Delta H_k$，得到不同的变尺度法）

对称秩1校正法

$$\Delta H_k=\frac{(\Delta x^k-H_k\Delta g_k)(\Delta x^k-H_k\Delta g_k{)}^T}{(\Delta x^k-H_k\Delta g_k{)}^T\Delta g_k}$$

步骤：

1. 选取初始量$x^1,H_1$
2. 计算$p^k=-H_k{g}_k$
3. 用精确一维搜索求得步长${\lambda }_k$，得$x^{k+1}=x^k+{\lambda }_k{p}^k$
4. 令

$$H_{k+1}=H_k+\frac{(\Delta x^k-H_k\Delta g_k)(\Delta x^k-H_k\Delta g_k{)}^T}{(\Delta x^k-H_k\Delta g_k{)}^T\Delta g_k}$$

跳转第2步。

DFP算法

$$H_{k+1}=H_k+\frac{\Delta x^k(\Delta x^k{)}^T}{(\Delta x^k{)}^T\Delta g_k}-\frac{H_k\Delta g_k(\Delta g_k{)}^T{H}_k}{(\Delta g_k{)}^T{H}_k\Delta g_k}$$

BFGS算法

另一种拟牛顿性质：$\Delta g_k=B_{k+1}\Delta x^k$

则从DFP算法$H_k$的递推公式可以得到$B_k$的递推公式

$$B_{k+1}=B_k+\frac{\Delta g^k(\Delta g^k{)}^T}{(\Delta g^k{)}^T\Delta x^k}-\frac{B_k\Delta x^k(\Delta x^k{)}^T{B}_k}{(\Delta x^k{)}^T{B}_k\Delta x^k}$$

用Sherman-Morrison公式对上式两边求逆，得：
$$H_{k+1}^{BFGS}=H_k+\left(1+\frac{(\Delta g_k{)}^T{H}_k\Delta g_k}{(\Delta x^k{)}^T\Delta g_k}\right)\frac{\Delta x^k(\Delta x^k{)}^T}{(\Delta x^k{)}^T\Delta g_k}-\frac{\Delta x^k(\Delta g_k{)}^T{H}_k+H_k\Delta g_k(\Delta x^k{)}^T}{(\Delta x^k{)}^T\Delta g_k}$$

Sherman-Morrison公式：

假设$A\in {\mathbb{R}}^{n\times n}$为可逆矩阵，$u,v\in {\mathbb{R}}^n$为列向量，则$A+u{v}^T$可逆当且仅当$1+v^T{A}^{-1}u\ne 0$，且当$A+u{v}^T$可逆时，该矩阵由以下公式给出：
$$(A+u{v}^T{)}^{-1}=A^{-1}-\frac{A^{-1}u{v}^T{A}^{-1}}{1+v^T{A}^{-1}u}$$

---

第5章 线性规划

标准形

$$\begin{array}{l}\min z=c^{T}x\\ \text{s.t.}\{\begin{array}{l}Ax=b,(b\ge 0)\\ x\ge 0\end{array}\\ x=(x_1,\cdots ,x_n)\end{array}$$

如何转换成标准形：

$$\max z=c^{T}x\Rightarrow \max z^{\prime }=c^{T}x$$

2. 加入松弛变量（松弛变量在目标函数中的系数为0）

$$\Sigma a_{ij}{x}_j\le b_i\Rightarrow \{\begin{array}{l}\Sigma a_{ij}{x}_j+x_{n+i}=b_i\\ x_{n+i}\ge 0\end{array}$$

3. 加入剩余变量（剩余变量在目标函数中的系数为0）

$$\Sigma a_{ij}{x}_j\ge b_i\Rightarrow \{\begin{array}{l}\Sigma a_{ij}{x}_j-x_{n+i}=b_i\\ x_{n+i}\ge 0\end{array}$$

4. 变量转换

$$\begin{gathered} x_j\le 0\Rightarrow -x_j\ge 0 \\ {x}_j\text{无约束}\Rightarrow x_j=x_j^{\prime }-x_j^{\prime \prime },(x_j^{\prime }\ge 0,x_j^{\prime \prime }\ge 0) \end{gathered}$$

---

第6章 约束优化

K-T点

• 如果题目要求K-T点$\bar{x}$，则先由下面1、3式得到解，再将解带入2式，使得2式成立的解$\bar{x}$，即为K-T点。

$$\{\begin{array}{l}\nabla f(\bar{x})-{\Sigma }_{i=1}^m{w}_i\nabla g_i(\bar{x})-{\Sigma }_{j=1}^l{v}_j\nabla h_j(\bar{x})=0\\ w_i\ge 0,i=1,\cdots ,m\\ w_i{g}_i(\bar{x})=0,i=1,\cdots ,m\end{array}$$

• 如果验证某点$\bar{x}$是否为K-T点，则先由下面1式得到解，解中使得2式成立的$\bar{x}$就是K-T点。

$$\{\begin{array}{l}\nabla f(\bar{x})-{\Sigma }_{i=1}^m{w}_i\nabla g_i(\bar{x})-{\Sigma }_{j=1}^l{v}_j\nabla h_j(\bar{x})=0\\ w_i\ge 0,i=1,\cdots ,m\\ w_i{g}_i(\bar{x})=0,i=1,\cdots ,m\end{array}$$

罚函数

基本思想：

将约束非线性优化问题转化为一系列无约束优化问题。对于在一系列无约束的求解中企图违反约束的极小点给予很大的目标函数值，从而迫使无约束的极小点：要么无限向可行域靠近；要么一直保持在可行域内，直到收敛到原来约束优化的极小点。
$$\min F(x,\sigma )=f(x)+\sigma p(x)$$

外点罚

罚函数$p(x)$构造：
p ( x ) = Σ i = 1 m ( min ⁡ { g i ( x ) , 0 } ) 2 + Σ j = 1 l h j 2 ( x ) p(x) = \Sigma_{i = 1}^{m}(\min \{ g_{i}(x), 0 \})^{2} + \Sigma_{j = 1}^{l}h_{j}^{2}(x) p(x)=Σi=1m​(min{gi​(x),0})2+Σj=1l​hj2​(x)
步骤：

1. 给定初始点$x^0$，初始罚因子$M_1>0$，精度$\epsilon >0$
2. 以$x^{k-1}$为初始点，求解无约束优化问题

$$\min F(x,M_k)=f(x)+M_{k}p(x)$$

得到极小点$x^{\ast }(M_k),M_k\to +\infty$，记为$x^k$。

用解析法求驻点或者用无约束优化方法求解。

3. 如果$M_{k}p(x^k)<\epsilon$，则停止计算，得到近似极小点$x^k$；否则，令$M_{k+1}=c{M}_k$，跳转第2步。

性质：

1. $F(x^{k+1},M_{k+1})\ge F(x^k,M_k)$
2. $p(x^{k+1})\le p(x^k)$
3. $f(x^{k+1})\ge f(x^k)$

内点罚

内点法适用于求解仅含不等式约束问题

罚函数构造：

1. 倒数障碍函数

$$B(x)={\Sigma }_{i=1}^m\frac{1}{g_i(x)}$$

2. 对数障碍函数

$$B(x)=-{\Sigma }_{i=1}^m\ln (g_i(x))$$

步骤：

1. 给定初始点$x^0\in D$，初始罚因子$r_1>0$，精度$\epsilon >0$
2. 以$x^{k-1}$为初始点，求解无约束优化问题

$$\min F(x,r_k)=f(x)+r_{k}B(x)$$

得到极小点$x^{\ast }(r_k),r_k\to 0$，记为$x^k$。

3. 如果$r_{k}B(x^k)<\epsilon$，则停止计算，得到近似极小点$x^k$；否则，令$r_{k+1}=c{r}_k$，跳转第2步。

性质：

1. $F(x^{k+1},r_{k+1})\le F(x^k,r_k)$
2. $B(x^{k+1})\ge B(x^k)$
3. $f(x^{k+1})\le f(x^k)$

混合罚

罚函数构造：
B ( x ) = − Σ i ∈ I ln ⁡ ( g i ( x ) ) p ( x ) = Σ i ∉ I ( min ⁡ { g i ( x ) , 0 } ) 2 + Σ j = 1 l h j 2 ( x ) I = { i ∣ g i ( x 0 ) ≥ 0 , i = 1 , 2 , ⋯   , m } B(x) = - \Sigma_{i \in I} \ln{(g_{i}(x))} \\ p(x) = \Sigma_{i \notin I}(\min \{ g_{i}(x), 0 \})^{2} + \Sigma_{j = 1}^{l}h_{j}^{2}(x) \\ I = \{ i | g_{i}(x^{0}) \ge 0, i = 1, 2, \cdots, m \} B(x)=−Σi∈I​ln(gi​(x))p(x)=Σi∈/I​(min{gi​(x),0})2+Σj=1l​hj2​(x)I={i∣gi​(x0)≥0,i=1,2,⋯,m}
步骤：

1. 给定初始点$x^0$，初始罚因子$r_1>0$，精度$\epsilon >0$
2. 以$x^{k-1}$为初始点，求解无约束优化问题

$$\min F(x,r_k)=f(x)+r_{k}B(x)+\frac{1}{r_k}p(x)$$

得到极小点$x^{\ast }(r_k),r_k\to 0$，记为$x^k$。

3. 如果$r_{k}B(x^k)<\epsilon ,\frac{1}{r_k}p(x)<\epsilon$，则停止计算，得到近似极小点$x^k$；否则，令$r_{k+1}=c{r}_k$，跳转第2步。

可行方向法

基本思想：

从可行点出发，沿着可行的下降方向进行搜索，找出使目标函数下降的新的可行点，直到满足终止条件，得到最优解$x^{\ast }$。

Zoutendijk可行方向法

• 线性约束的非线性问题

$$\begin{array}{l}\min f(x)\\ \text{s.t.}\{\begin{array}{l}Ax\ge b\\ Cx=e\end{array}\\ A\in R_m^{m\times n},C\in R_l^{l\times n},x\in R^n,b\in R^m,e\in R^l\end{array}$$

定理：设$\bar{x}\in D$，在$\bar{x}$处有$A_1\bar{x}=b_1,A_2\bar{x}=b_2$，其中$A=\left(\begin{array}{c}{A}_1\\ A_2\end{array}\right),b=\left(\begin{array}{c}{b}_1\\ b_2\end{array}\right)$，则$d\ne 0$是$\bar{x}$处的可行方向的充要条件为$A_{1}d\ge 0,Cd=0$。

步骤：

1. 给定初始点$x^0$
2. 在点$x^k$处将$A,b$分解成$A=\left(\begin{array}{c}{A}_1\\ A_2\end{array}\right),b=\left(\begin{array}{c}{b}_1\\ b_2\end{array}\right)$，使得$A_1{x}^k=b^1,A_2{x}^k>b_2$（$A_1$起约束作用，$A_2$非起约束作用），计算$\nabla f(x^k)$
3. 确定可行下降方向。即求解下列线性规划，得到最优解$d^k$：

$$\begin{array}{l}\min (\nabla f(x^k){)}^{T}d\\ \text{s.t.}\{\begin{array}{l}{A}_{1}d\ge 0\\ Cd=0\\ \left|d_j\right|\le 1,\forall j\end{array}\end{array}$$

4. 如果$(\nabla f(x^k){)}^{T}d=0$，则算法结束，$x^k$是K-T点。否则，跳转第5步
5. 利用下式求解最大步长${\lambda }_{max}$。

λ m a x = { min ⁡ { b i ˉ d i ˉ ∣ d i ˉ < 0 } , ∃ d i ˉ < 0 + ∞ , d ˉ ≥ 0 \lambda_{max} = \left\{ \begin{array}{l} \min \{ \frac{\bar{b_{i}}}{\bar{d_{i}}} | \bar{d_{i}} < 0 \}, \exists \bar{d_{i}} < 0 \\ +\infty, \bar{d} \ge 0 \end{array} \right. \\ λmax​={min{di​ˉ​bi​ˉ​​∣di​ˉ​<0},∃di​ˉ​<0+∞,dˉ≥0​

其中，$\bar{d}=A_2{d}^k,\bar{b}=b_2-A_2{x}^k<0$

再求解如下一维搜索问题，得到最优步长${\lambda }_k$，令$x^{k+1}=x^k+{\lambda }_k{d}^k$，跳转第2步。
$$\begin{gathered} \min f(x^k+\lambda d^k) \\ s.t.0\le \lambda \le {\lambda }_{max} \end{gathered}$$