线性规划的单纯形法及python实现

1. 线性规划的解

一个线性规划（LP）问题如果有最优解，必定有一个最优解出现在顶点上。

从几何上讲，线性规划的约束集合为凸面体，一个超平面（目标函数的等值面）靠近约束集合时，最先接触到的必然是凸面体的一个顶点或一条边，因此一定有一个最优解出现在顶点上。

2. 线性规划的标准型

线性规划的标准型为：
$$\begin{array}{rl}\min & {\mathbf{c}}^T\mathbf{x}\\ s.t.& \mathbf{Ax}=\mathbf{b}\\ & \mathbf{x}\ge 0\end{array}$$
可以通过以下两个方式转化成标准型：

1. 将所有不等式约束转化为等式约束：通过增加非负的松弛变量，
2. 将所有变量转化为非负约束：负约束变量通过引入非负变量，无约束变量使用两个非负变量的差值表示。

对于线性方程组$\mathbf{Ax}=\mathbf{b}$，$\mathbf{A}\in {\mathbb{R}}^{m\times n}$，通过令$n-m$个变量为0（非基变量），解出的变量称为基变量，构成一组基本解。

3. 初级单纯形法

单纯形法就是在顶点上搜索LP的最优解。求解步骤如下：

1. 初始化：化成标准型，写出单纯形表，并找一个初始基本解。
   例如（见《运筹学（原书第2版）》（——罗纳德L.拉丁）5.3节）：考虑如下标准型：
   $$\begin{array}{rl}\max & 12x_1+9x_2\\ s.t.& x_1+x_3=1000\\ & x_2+x_4=1500\\ & x_1+x_2+x_5=1750\\ & 4x_1+2x_2+x_6=4800\\ & x_1,x_2,x_3,x_4,x_5,x_6\ge 0\end{array}$$
   先找到一个顶点，即初始基本解。令$x_1,x_2=0$为非基变量，可以求解方程组得到初始基本解${\mathbf{x}}^{(0)}=(0,0,1000,1500,1750,4800)$。系数表如下：

	$x_1$	$x_2$	$x_3$	$x_4$	$x_5$	$x_6$
$\mathbf{c}$	12	9	0	0	0	0	$\mathbf{b}$
$\mathbf{A}$	1	0	1	0	0	0	1000
	0	1	0	1	0	0	1500
	1	1	0	0	1	0	1750
	4	2	0	0	0	1	4800
	$N$	$N$	$B$	$B$	$B$	$B$
${\mathbf{x}}^{(0)}$	0	0	1000	1500	1750	4800

2. 找到可行方向$\Delta \mathbf{x}$

首先因为相邻顶点的紧约束组只相差一个，并且标准型只有等式约束，而等式约束始终是紧约束，所以这里能放松的只有非基变量的非负约束。我们可以有$(\Delta x_1,\Delta x_2)=(1,0),(0,1)$两种选择。

接着根据线性规划的可行方向的性质可知，可行方向满足$\mathbf{A}\Delta \mathbf{x}=0$，将上面两种情况分别代入，可以求解一个线性方程算出基变量的方向。

然后由$\Delta f={\mathbf{c}}^T\Delta \mathbf{x}$可以算出每个方向对函数值的优化情况。

	$x_1$	$x_2$	$x_3$	$x_4$	$x_5$	$x_6$
$\mathbf{c}$	12	9	0	0	0	0	$\mathbf{b}$
$\mathbf{A}$	1	0	1	0	0	0	1000
	0	1	0	1	0	0	1500
	1	1	0	0	1	0	1750
	4	2	0	0	0	1	4800
	$N$	$N$	$B$	$B$	$B$	$B$
${\mathbf{x}}^{(0)}$	0	0	1000	1500	1750	4800	${\mathbf{c}}^T\mathbf{x}=0$
$x_1$的$\Delta \mathbf{x}$	1	0	-1	0	-1	-4	$\Delta f=12>0$
$x_2$的$\Delta \mathbf{x}$	0	1	0	-1	-1	-2	$\Delta f=9>0$

3. 判断最优性
   根据每个方向的$\Delta f$可知函数值还可以继续优化，不能优化则迭代停止。
4. 确定步长
   根据可行方向有负值，可知约束集在此处有界。如果找到一个可以无限移动的方向，说明约束集无界，停止迭代。
   这里取$x_1$的$\Delta \mathbf{x}$作为迭代方向。现在让${\mathbf{x}}^{(0)}$点沿着可行方向移动，直到有一个基变量最先降为0，因此步长为$\lambda =1000$。
5. 新顶点和基
   新顶点为$$\begin{array}{rl}{\mathbf{x}}^{(1)}& ={\mathbf{x}}^{(0)}+\lambda \Delta \mathbf{x}\\ & =(0,0,1000,1500,1750,4800)+1000\times (1,0,-1,0,-1,-4)\\ & =(1000,0,0,1500,750,800)\end{array}$$
   此时，$x_1$入基成为新的基变量，$x_3$出基成为非基变量，新基为 { x 1 , x 4 , x 5 , x 6 } \{ x_1, x_4, x_5, x_6\} { x1​,x4​,x5​,x6​}。回到第二步，继续寻找可行方向，判断是否能继续优化。迭代过程如下：

	$x_1$	$x_2$	$x_3$	$x_4$	$x_5$	$x_6$
$\mathbf{c}$	12	9	0	0	0	0	$\mathbf{b}$
$\mathbf{A}$	1	0	1	0	0	0	1000
	0	1	0	1	0	0	1500
	1	1	0	0	1	0	1750
	4	2	0	0	0	1	4800
$t=0$	$N$	$N$	$B$	$B$	$B$	$B$
${\mathbf{x}}^{(0)}$	0	0	1000	1500	1750	4800	${\mathbf{c}}^T\mathbf{x}=0$
$x_1$