单纯形法详解-优快云博客

本文链接：https://blog.youkuaiyun.com/cpluss/article/details/100806516

单纯形法的理解

理解单纯形法之前必须要知道一下若干定理或者知识。

对于 $Ax=b,A:m∗n,x:n∗1,b:n∗1Ax=b,\quad A:m*n,\quad x:n*1,\quad b:n*1$ ，可以写成下列形式：
$Ax=(A^1,A^2,...A^n)(\begin{aligned}x_1\\x_2\\...\\x_n\end{aligned})=A^1x_1+A^2x_2+...+A^nx_n=b$
也就是说 $b$ 时 $A$ 的列向量的线性组合，线性组合的系数就是 $A x = b$ 方程组的一个解。
对于线性优化：
$min(c^Tx)\\ Ax=b\\ \forall x_i\ge0$
其最优解一定满足下面的形式（basic solution）：（同时，满足下述形式的basic solution不一定是最优的）
$x=(x_1\ge0,x_2\ge0,....x_m\ge0,x_{m+1}=0,x_{m+2}=0,..x_n=0)$
前面的m个数值对应基向量 $B$ 的解，后面代表非基向量的解。（至于为什么，查资料）

判断是否是最优解

对于上述的最优化问题，我们可以做出如下分解：
$Ax=[B,N][\begin{aligned}x_B\\x_N\end{aligned}]=Bx_B+Nx_N=b\\ 解得\quad \quad x_b=B^{-1}b-B^{-1}Nx_N$
其中B代表基向量构成的方阵，其秩为 $m$ ，N为其他向量构成的矩阵。现在令 $x_N=0$ ，得到 $x_B=B^{-1}b$ 。于是乎我们就得到了一个basic solution：
$G=(B^{-1}b,0,0,0,..0)=[x_B,x_N=0]\\ 根据引理1：\\ b = x_1B_1+x_2B_2+..+x_mB_m+0B_{m+1}+0B_{m+2}+...+0B_{n}$
为什么要令 $x_N=0$ 呢？因为基于上面提到的引理2，最优解一定是basic solution，所以我们需要先找到一个basic solution，然后再判断是否是最优解。

此时可以我们的最小化目标函数可以写成下面的形式：
$f=c^Tx=c_B^Tx_B+c^T_Nx_N=c_B^T(B^{-1}b-B^{-1}Nx_N)+c_N^Tx_N\\ =c_B^TB^{-1}b+(c_N^T-c_B^TB^{-1}N)x_N\tag{4}$
其中， $c_N^T-c_B^TB^{-1}N$ 是一个 $1 * (n - m)$ 形状的向量。

回归到我们最初的目的，最小化 $f$ 的值。我们在上述的 $(3)$ 式中得到一个basic solution，那么这个basic solution是否是最优解呢？这时我们需要看 $(4)$ 式，前面项是常数项，只考虑后面的那一项。
$(c_N^T-c_B^TB^{-1}N)x_N=\sigma_{m+1}x_{m+1}+\sigma_{m+2}x_{m+2}+...\sigma_{n}x_{n}\tag{5}$
1. 如果对于 $∀σi>0,i∈(m+1,n)\forall \sigma_i\gt0, i\in (m+1,n)$ ，那么想要满足 $f$ 最小，就必须令 $x_{m+1},x_{m+2},...,x_n$ 都是0，一旦有一个非零， $f$ 就会变大。因为我们 $(3)$ 中得到的解 $G$ 恰好满足 $x_{m+1},x_{m+2},...,x_n$ 都是零，而且是基本解，所以G也是最优解。

2. 如果存在 $σi≤0,i∈(m+1,n)\sigma_i\le0,i\in (m+1,n)$ ，我们只要让对应的 $x_i>0$ ，就能使 $(4)$ 式变得更小。那么此时的G就不是最优解，因为G对应的 $x_i=0$ ，所以他不是最优解。

找出入基

承接上文，假设G不是最优解。也就是存在 $σi≤0,i∈(m+1,n)\sigma_i\le0,i\in (m+1,n)$ 。也就是说，当 $x_i>0$ 时，目标函数 $f$ 可以更小。也就是说（根据文章开头的引理2）， $x_i$ 对应的列向量应该时基向量（只有基向量对应的解才应该时大于等于0的）。所以应该把 $x_i$ 对应的列向量换进基向量的矩阵中。那么问题来了，如果存在多个 $σi\sigma_i$ 小于0，到底应该换哪个呢？

按理说，换哪个都是可以的。但是我们的目标是更快的求出最小的 $f$ ，也就是让 $f$ 下降的最快，显然，在x等值的情况下， $σi\sigma_i$ 越小， $σix\sigma_ix$ 越小， $f$ 也就下降的越快，因此，入基所对应的应该是
$\sigma_{m+i}= min(\sigma_{m+1},\sigma_{m+2},...\sigma_n) 且\sigma_{m+i}\le0\tag{6}$
也就是矩阵A中的第 $m + i$ 列（也是N中的第 $i$ 列: $N_i$ ）应该是基向量。

找出出基

既然找到了入基 $N_i$ ，怎么找到出基呢？回顾上面的内容，我们找到了一个basic solution G，但G不是最优解。虽然不是最优解，但仍然是一个可行解，仍然满足：
$AG=A[x_B,x_N=0]^T=[B,N][x_B,x_N=0]^T=Bx_B^T+N*0=Bx_B^T=b\\ 也就是Bx_B^T=b\tag{7}$
这是根据公式 $(3)$ 得到的(这里的 $x_B$ 特指非最优解G中的 $x_B$ )。

同时，我们由公式 $(6)$ 得到，入基对应的列向量为 $N_i$ 。考虑到B是基向量，那么其他任意向量都可以由B的列向量的线性组合来表示（上述的引理1）。那么列向量 $N_i$ 也不例外，所以存在唯一向量 $y$ 满足下面式子
$N_i=y_1B_1+y_2B_2+...+y_mB_m=By\tag{8}$
所以PPT中的 $By=N_i$ 就是这么来的。（为什么唯一呢？因为B满秩）

所以我们根据（7）和（8）就可以得到PPT中的两个式子：
$Bx_B^T=b\\ By=N_i\tag{9}$
此外，根据引理1，我们知道，b是A的列向量的线性组合，线性组合的系数也是 $A x = b$ 的一个解。

在basic solution G中，我们知道 $N_i$ 对应的系数是0，也就是b和 $N_i$ 是没有关系的。但是根据上面的讨论，当 $x_i>0$ 时，目标函数 $f$ 可以取得更小，我们假设 $N_i$ 对应的系数为 $ξ>0\xi>0$ 。那么如何把b重新表示为 $B和N_i$ 的线性组合呢？我们只需要将（9）中的第二个式子乘以 $ξ\xi$ ，再将第一个式子减去第二个式子就可以了。
$\xi By=\xi N_i\\ Bx_B^T-\xi By=b-\xi N_i\\ 从而有：B(x_B^T-\xi y)+\xi N_i=b\tag{10}$
所以就得到了PPT中的式子。

那么这个式子是什么意思呢。首先明确一下， $x_B^T$ 时 $1 * m$ 的向量，y也是 $1 * m$ 的向量， $ξ\xi$ 时大于0的标量。

那么这个式子不就是B的列向量和 $N_i$ 的线性组合吗。我们由（10）得到：
$令x_B^T-\xi y = t,t时1*m的行向量\\ Bt+\xi N_i=b\\ 从而有:b=t_1B_1+t_2B_2+...+t_mB_m+\xi N_i\tag{11}$

但是我们知道最优解一定是basic solution（引理1），basic solution的特征由（2）给出。也就是说，basic solution中，基向量对应的解是m个大于等于0的分量。我们已知 $ξ>0\xi>0$ ，则 $ξ\xi$ 是对应基向量的解的一个分量（线性组合的系数就是解）。所以对于 $t_1,t_2,...,t_m$ ，不可能都大于0，若都大于0，则含有 $m + 1$ 个正数分量了，与引理矛盾。

那么既然 $t_1,t_2,...,t_m$ 不可能都大于0，那么可不可以存在 $t_i<0$ 呢？不可能，因为我们的约束条件要求 $xi≥0x_i\ge 0$ 。

所以有下式：
$t_1,t_2,...t_m\ge0\\ 且不能都大于0\tag{12}$
那么就只能让t中最小的数等于0了。（如果让不是最小的数为0，那么比他还小的数不就是负数了吗？）

而 $t=xBT−ξyt=x_B^T-\xi y$ ，所以:
$t\ge0\\ x_B^T-\xi y \ge 0\\ \xi \le \frac{x_B^T}{y}\\ 又因为最小的t要等于0，所以\\ \xi = min\{\frac{(x_B^T)_j}{y_j}|y_j>0\}$
这样就满足了 $t_j=0$ ，也就是第j列并非基向量，需要换出去。到此，入基和出基均已经得到。