运筹学——线性规划单纯形方法

对于一个标准形式的 LP 问题：
$$\begin{array}{rl}& \\ min& z=c_1{x}_1+\dots \dots +c_n{x}_n\\ s.t.& a_{i1}{x}_1+a_{i2}{x}_2+\dots \dots +a_{in}{x}_n=b_i\\ & a_{i1}{x}_1+a_{i2}{x}_2+\dots \dots +a_{in}{x}_n\le b_i\text{式 (1)}\\ & x_j\ge 0,j=1,\dots \dots ,n\end{array}$$

我们知道他的最优解在多面凸集的顶点上，那么只要找到一个基本可行解，然后让超平面沿着目标函数的负梯度方向移动，就可以得到最优解——单纯形方法。

接下来，从线性代数的角度出发，将式（1）改写为矩阵向量形式：
$$\{\begin{array}{rl}min& z=c^T\\ s.t.& Ax=b\text{式(2)}\\ & x\ge 0\end{array}$$
假设 $r(A)=m$，即 A 中必有 m 个线性无关的列向量，构成满秩方阵 B，再将其余各列组成的子阵记为 N，有 $A=(B,N)$，同理 $x=(x_B,x_N)$。
则 $Ax=b$ 可记作 $B{x}_B+N{x}_N=b$ 。
由于 B 满秩，$B^{-1}$ 存在，上式两边左乘 $B^{-1}$ 可得 $x_B=B^{-1}b-B^{-1}N{x}_N\text{式(3)}$
将式（3）代入式（2）中的目标函数有 其中 $\overline{b}=B^{-1}b$ , $\overline{A_j}=B^{-1}N$
$$\begin{array}{rl}z& =c^{T}x=c_B^T{x}_B+c_N^T{x}_N\\ & =c_B^T(\overline{b}-B^{-1}N{x}_N)+c_N^T{x}_N\\ & =c_B^T\overline{b}-(c_B^T{B}^{-1}N-c_N^T)x_N\\ & =c_B^T\overline{b}-\sum _{j=m+1}^n(c_B^T\overline{A_j}-c_j)x_j\text{式(4)}\end{array}$$
然后记 $z_0=c^T\overline{x}=c_B^T\overline{B}$，即 $z_0$ 为目标函数中的常数项。
将式（4）中的 $c_B^T\overline{A_j}-c_j$ 从 (m+1, n) 扩展到 (1, n)，并做如下记号有：${\zeta }^T=({\zeta }_B^T,{\zeta }_N^T)=(0,c_B^T\overline{A_j}-c_j)$。
从而目标函数可记作： $z=c_B^T\overline{b}-{\zeta }^{T}x\text{式(5)}$
将式（2）可继续改写为：
$$\{\begin{array}{rl}min& z=z_0-{\zeta }^{T}x\\ s.t.& x_B+B^{-1}N{x}_N=\overline{b}\text{式(6)}\\ & x\ge 0\end{array}$$

其中 $x_B+B^{-1}N{x}_N=\overline{b}$ 又称为典式。

对于式（5），$c_B^T\overline{b}$ 是 $x_N=0$ 时候的一组特解，而 ${\zeta }^{T}x$ 类似于一种损失，我们期望损失小于等于零，那么这就是最小值；如果损失大于0，说明了存在更优解。

定理：如果 $\zeta$ 的第 k 个分量 ${\zeta }_k>0(m+1\le k\le n)$ ，$\overline{A_k}=B^{-1}{A}_k\le 0$，则无界。
解释：${\zeta }_k>0$ 意味着损失大于0，对于约束条件 $x_B=B^{-1}b-B^{-1}N{x}_N$ ，意味着需要下降。
$\overline{A_k}=B^{-1}{A}_k\le 0$，对于约束条件 $x_B=B^{-1}b-B^{-1}N{x}_N$ ，意味着需要上升，二者相互矛盾，故无界。
证明：构造 KaTeX parse error: Undefined control sequence: \pmatrix at position 5: d = \̲p̲m̲a̲t̲r̲i̲x̲{-\overline{A_k…，有 $Ad=0$，对于充分大正数 $\theta$ ，考察 $c^T(\overline{x}+\theta d)$ （参照下找最优解）。
若存在最优解，可通过以下方法寻找：
令d=(−Ak‾0)+ek,ek 是第 k 个分量为 1，其余分量为 0 的 n 维向量。构造x^=x‾+θd=(b‾0)+θ(−Ak‾0)+θek=(b‾−θAk‾0)+θek为使 x^≥0，则要求 b‾−θAk‾≥0，故令 θ=min{bi‾aik‾∣aik‾>0,i=1,……,m}从而保证了 x^≥0，因而 x^ 是可行解。 \begin{aligned} \\ &\text{令}\quad d = \begin{pmatrix}-\overline{A_k}\\ 0\end{pmatrix} +e_k \qquad, e_k \text{ 是第 k 个分量为 1，其余分量为 0 的 n 维向量。} \\ &\text{构造} \hat{x} = \overline{x} + \theta d = \begin{pmatrix}\overline{b} \\ 0\end{pmatrix} + \theta \begin{pmatrix}-\overline{A_k}\\ 0\end{pmatrix} + \theta e_k = \begin{pmatrix}\overline{b}-\theta \overline{A_k} \\ 0\end{pmatrix} + \theta e_k \\ &\text{为使 }\hat{x} ≥ 0， \text{则要求 } \overline{b} - \theta \overline{A_k} ≥ 0，\text{故令 } \theta = min\{\frac{\overline{b_i}}{\overline{a_{ik}}}|\overline{a_{ik}} > 0, i=1,……,m \} \\ &\text{从而保证了 } \hat{x} ≥ 0，\text{因而 }\hat{x} \text{ 是可行解。} \end{aligned} ​令d=(−Ak​​0​)+ek​,ek​ 是第 k 个分量为 1，其余分量为 0 的 n 维向量。构造x^=x+θd=(b0​)+θ(−Ak​​0​)+θek​=(b−θAk​​0​)+θek​为使 x^≥0，则要求 b−θAk​​≥0，故令 θ=min{aik​​bi​​​∣aik​​>0,i=1,……,m}从而保证了 x^≥0，因而 x^ 是可行解。​
单纯形方法总结
第 1 步——找一个初始的可行基 B；
第 2 步——求出对应的典式及检验数向量 $\zeta$；
第 3 步——求 ζk=max{ζj∣j=1,……,n}\zeta_k = max\{\zeta_j|j=1,……,n\}ζk​=max{ζj​∣j=1,……,n}；
第 4 步——若 ${\zeta }_k\le 0$ ，停止；
已找到最优解 $x=\left(\begin{array}{c}{x}_B\\ x_N\end{array}\right)=\left(\begin{array}{c}\overline{b}\\ 0\end{array}\right)$ 及最优值 $z=c_B^T\overline{b}$；
第 5 步——若 $\overline{A_k}\le 0$，停止，原问题无界；
第 6 步——求 min{bi‾aik‾∣aik‾>0,i=1,……,m}=b‾aik‾min\{\frac{\overline{b_i}}{\overline{a_{ik}}}|\overline{a_{ik}} > 0, i=1,……,m \} = \frac{\overline{b}}{\overline{a_{ik}}}min{aik​​bi​​​∣aik​​>0,i=1,……,m}=aik​​b​；
第 7 步——以 $A_k$ 代替 $A_{B_r}$ 得到新的基，转第 2 步。