运筹系列26：对偶问题和对偶单纯形法

1. 对偶问题简介

1.1 一般定义

考虑一般性优化问题：${\min }_{x|c(x)\ge 0}f(x)$
拉格朗日法可以将原问题变换为：${\min }_{x|c(x)\ge 0}{\max }_{\lambda \ge 0}(f(x)-\lambda c(x))$。
将min和max做一个翻转，称做原问题的对偶问题：
${\max }_{\lambda \ge 0}{\min }_{x|c(x)\ge 0}(f(x)-\lambda c(x))$。
其中$\lambda$称作对偶变量。

1.2 线性规划的对偶问题

原问题$\min z=cx$
s.t. $Ax\ge b$

我们按照上面的步骤，原问题等价于${\min }_{x|Ax\ge b}{\max }_{y\ge 0}(cx-y(Ax-b))$，翻转得到：${\max }_{y\ge 0}{\min }_{x|Ax\ge b}(cx-y(Ax-b))$
由KKT条件，我们有$c-yA=0$，得到对偶问题：
$\max b^{T}y$
s.t. $A^{T}y=c^T$
$y\ge 0$

下面是一个例子：

牢记对偶问题推导过程，快速写出对偶问题：左边的问题等价于
${\max }_x{\min }_y(4x_1...)+y_1(15-5x_1...)+...+y_6{x}_1+...$
等价于
${\min }_{y\ge 0}{\max }_x(15y_1+...)+x_1(4-5y_1...+y_6)+...$
等价于
${\min }_{y}15y_1+...$
s.t.
$4-5y_1...+y_6=0$，等价于$4-5y_1...\le 0$（这里是重点，注意$y_6$的符号）
…
$y_i\ge 0$

对偶问题的形式多样，关键几点如下：

1. 目标函数->约束rhs：max和min互换，c和b互换。注意max问题以rhs为准，min问题以lhs为准。
2. 变量约束->约束符号：变量和约束的乘积要求>=0，比方上面的例子中，原问题变量约束>=0，对应对偶约束符号>=0；假若原问题变量无约束，对应对偶约束符号=0；
3. 约束符号->变量约束：其实还是要求变量和约束的残差的乘积要求>=0，只不过因为目标函数是max问题，因此需要从约束rhs的角度来看的，所以约束符号也需要从rhs角度来看，所以在上面的例子中，原问题约束条件虽然时<=，但是从rhs的角度来看是>=，因此对应对偶变量>=0；假若原问题约束条件为=，从rhs角度看还是=，因此对应对偶变量无约束。

总结一下：
${\max }_{A_{1}x\le b_1,A_{2}x=b_2,x\ge 0}cx$的对偶问题为
${\min }_{A^{\prime }y\ge c,y_1\ge 0}{b}_1{y}_1+b_2{y}_2$

2. 对偶问题的性质

1. 对称性：对偶问题的对偶问题是原问题
2. 弱对偶定理：原问题（primal）和对偶问题（dual）的可行域记作$z_p$和$z_d$，若$x\in z_p,y\in z_d$，则对于最小化问题，有$c^{T}x\le b^{T}y$。等号当且仅当$x,y$都是各自问题的最优解时取得。
3. 强对偶定理：若原问题有有限最优解，那么对偶问题也有有限最优解，且最优解相等。
4. 互补松弛定理：若$x\in z_p,y\in z_d$，则下面两者等价：(a) $x,y$都是各自问题的最优解；(b) $y^T(Ax-b)=0$并且$(y^{T}A-c^T)x=0$

3. 对偶单纯形法

对偶单纯形法和单纯形法完全可以转置过来看待。直观来看，原问题是保持$b\ge 0$，pivoting使得$c\ge 0$；而对偶问题是保持$c\ge 0$，pivoting使得$b\ge 0$。由于原问题一般约束比变量少，所以对偶问题很容易给出初始可行解，不需要使用两阶段法。
对于MILP问题，商用求解器也默认使用对偶单纯形法求解其松弛线性规划问题。变量分支后，左右两个节点和父节点的差别在于多了一个约束条件，两个节点可以从父节点的最优解出发去求解，能很大程度提高求解速度。我们来推导一下：
假设原问题是：
$\min c^{T}x$
$Ax=b$
$x\ge 0$
$x_i\in Z,\forall i\in I$
假设父节点的基为$B$，进行分支的变量为$x_j={\beta }_j$，先看左节点，添加的约束条件为：
$x_j+s=\lfloor {\beta }_j\rfloor$，$(x_B,s)$构成了一组基变量，并且$s=\lfloor {\beta }_j\rfloor -{\beta }_j<0$，这组基对于原问题是不可行的，但是对偶问题是可行的~因此可以用对偶单纯形法去求解分支问题。

我们来看一个例子做对比：

化为标准型：

没有直观的初始可行解，因此使用两阶段法，添加人工变量后进行求解；
对偶单纯形法则不需要使用两阶段法，由于对偶后$y$变为无约束变量，因此很容易求得初始解为$y_1=y_2=0$。两者的对比如下：