最优化：单纯形法（二）

在本文中，我们着重具体地来介绍一下二段法（The 2-Phase Method）和单纯形法（the Simplex Algorithm）两种方法。

在最优化：单纯形法（一） 中，我们提出了二段法（The 2-Phase Method）和单纯形法（the Simplex Algorithm）。我们在上一篇文章中，是可以知道，任意的LP，符合Bland’s Rule便可以利用二段法求解，得到最优解或者是Unbounded的结果。
在本文中，我们着重具体地来介绍一下这两种方法。

Simplex

单纯形法说难不难，不如利用一个例子来描述。例如，对于一个以下的LP：
$$\begin{array}{ll}\max & \underset{c}{\underbrace{\left(\begin{array}{llll}0& 1& 3& 0\end{array}\right)}}x\\ \text{ s.t. }& \underset{A}{\underbrace{\left(\begin{array}{llll}1& 1& 2& 0\\ 0& 1& 1& 1\end{array}\right)}}x=\underset{b}{\underbrace{\left(\begin{array}{l}2\\ 5\end{array}\right)}}\\ & x_1,x_2,x_3,x_4\ge 0\end{array}$$

通过在最优化：单纯形法（一） 的叙述，我们很容易便可以确定，这个LP的基是 B = { 1 , 4 } B=\{1,4\} B={1,4}。对于这个基，有一个基解：
x = { 2 , 0 , 0 , 5 } x=\{2,0,0,5\} x={2,0,0,5}

但是，怎么去得到更好的可行解呢？
假定这个更好的可行解为： x = { x 1 , x 2 , x 3 , x 4 } x=\{x_1,x_2,x_3,x_4\} x={x1​,x2​,x3​,x4​}。首先，我们可以固定$x_3=0$，使得$x_2=t$。
这个可行解一定会满足$Ax=b$的限制条件，因此：
$$\begin{array}{rl}\left(\begin{array}{l}2\\ 5\end{array}\right)& =\left(\begin{array}{llll}1& 1& 2& 0\\ 0& 1& 1& 1\end{array}\right)x\\ & =x_1\left(\begin{array}{l}1\\ 0\end{array}\right)+x_2\left(\begin{array}{l}1\\ 1\end{array}\right)+x_3\left(\begin{array}{l}2\\ 1\end{array}\right)+x_4\left(\begin{array}{l}0\\ 1\end{array}\right)\\ & =\left(\begin{array}{c}{x}_1\\ 0\end{array}\right)+t\left(\begin{array}{l}1\\ 1\end{array}\right)+0\left(\begin{array}{l}2\\ 1\end{array}\right)+\left(\begin{array}{c}0\\ x_4\end{array}\right)\\ & =t\left(\begin{array}{l}1\\ 1\end{array}\right)+\left(\begin{array}{l}{x}_1\\ x_4\end{array}\right)(\ast )\end{array}$$

In short，这个式子总结为：
$x_B=b-t{A}_k$。其中，$x_B$为$x$的基分量， x B = { x B 1 , . . . , x B n } x_B =\{x_{B1},...,x_{Bn}\} xB​={xB1​,...,xBn​}。
$A_k$为矩阵$A$的第$k$列。这个$k$叫entering basis。也就是上面的$x_2$的下标$2$。

我们改写上面的结果，可以得到下面的式$(\ast )$。
$$\underset{x_B}{\underbrace{\left(\begin{array}{l}{x}_1\\ x_4\end{array}\right)}}=\underset{b}{\underbrace{\left(\begin{array}{l}2\\ 5\end{array}\right)}}-t\underset{A_2}{\underbrace{\left(\begin{array}{l}1\\ 1\end{array}\right)}}(\ast )$$

我们可以解这个式$(\ast )$。而且，要使得$x_1$和$x_4$同时满足非负的条件：
$$\begin{array}{l}{x}_1=2-t\ge 0⟶t\le 2\\ x_4=5-t\ge 0⟶t\le 5\end{array}$$

于是，优化这个LP，我们要使$t$取所能取的最大的值。因此，$t=2$。
因此，我们便可以得到一个新解： x = { 0 , 2 , 0 , 3 } x=\{0,2,0,3\} x={0,2,0,3}。这个新解比之前的解会使得目标函数再大一些。之后再将LP改写成Canonical form；单纯形法就是迭代多次，直至找到最优的解。

同时，我们发现，这个LP的解从 x = { 2 , 0 , 0 , 5 } x=\{2,0,0,5\} x={2,0,0,5}到 x ′ = { 0 , 2 , 0 , 3 } x'=\{0,2,0,3\} x′={0,2,0,3}，下标为1的分量退出（$x_1^{\prime }=0$），而下标为2的分量进入了解，使得$x_2^{\prime }\ne 0$。我们称下标1为leaving bias，称下标2为entering bias。基从 B = { 1 , 4 } B=\{1,4\} B={1,4}变成了 B = { 2 , 4 } B=\{2,4\} B={2,4}。因此，我们也可以认为，单纯形法其实就是找到一个最佳的基。（个人理解，不一定对）

值得注意的问题

问题也是存在的：

1. 算法需要一个初始解向量，那我们如何得到一个的初始的可行解向量呢？

2. 我们如何保证算法是可以迭代到最终退出的结果呢？即：需要一些新规则来保证算法最终会退出。

初始化

前面说到了，我们需要一个初始的可行解（或者说是可行基，其实是同样的意思）。其实这个可行解也可以利用单纯形法求得。首先，可行解需要同时满足LP的两个限制条件：
$$\begin{gathered} Ax=b \\ x\ge 0 \end{gathered}$$
还是继续给出一个例子：

$$\begin{array}{ll}\max & \underset{c}{\underbrace{\left(\begin{array}{llll}1& 2& -1& 3\end{array}\right)}}x\\ \text{ s.t. }& \underset{A}{\underbrace{\left(\begin{array}{llll}1& 5& 2& 1\\ -2& -9& 0& 3\end{array}\right)}}x=\underset{b}{\underbrace{\left(\begin{array}{c}7\\ -13\end{array}\right)}}\\ & x_1,x_2,x_3,x_4\ge 0\end{array}$$

可行解不会和Objective function 有联系：毕竟，我们只要一个可行解嘛。因此，我们只关注上面的限制条件：$Ax=b$。

因此，问题便转化为了：对于这两个限制条件，我们需要找到一个可行解、或者判断无解。这个问题的解只需要follow下面的几个步骤：

将$Ax=b$的右边的常量分量转化为非负

很简单，对于某一个$b_i,(b_i<0)$所对应的一个方程，我们只需要乘于一个$-1$，便可以将其转化。
$$\left(\begin{array}{cccc}1& 5& 2& 1\\ 2& 9& 0& -3\end{array}\right)x=\left(\begin{array}{c}7\\ 13\end{array}\right)$$

构造副问题（Auxiliary Problem）

例如，对于上面的例子，我们构造如下的Auxiliary Problem。

$$\begin{gathered} \min x_5+x_6 \\ \text{s.t.}\underset{A|I}{\underbrace{\left(\begin{array}{cccccc}1& 5& 2& 1& 1& 0\\ 2& 9& 0& -3& 0& 1\end{array}\right)}}x=\left(\begin{array}{c}7\\ 13\end{array}\right) \\ x\ge 0 \end{gathered}$$

利用单纯形法，解这个问题

得到结果$(2,1,0,0,0,0{)}^{\top }$。判断出$x_5=x_6=0$，从而它是这个问题的可行解。

于是，我们就可以得到满足初始的解。从而进入单纯形算法中。