notes of primal-dual

最新推荐文章于 2021-12-30 11:54:12 发布

原创最新推荐文章于 2021-12-30 11:54:12 发布 · 309 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#对偶问题

机器学习专栏收录该内容

4 篇文章

订阅专栏

本文通过一个具体的线性规划实例，展示了如何从原始问题转换到其对偶问题，并详细解释了转换过程中的数学原理。通过对偶问题，我们可以更好地理解和解决原始优化问题。

例题

原问题： $max f=x_1+2x_2+4x_3$
$x_1+x_2+3x_3≥2$
$x_1+7x_2+x_3≥ 8$
$2x_1+x_2+x_3≥2$
$x_1≥0,x_2≥0,x_3无约束$
对偶问题：
$min g=2y_1+8y_2+2y_3$
$y_1+y_2+2y_3≥1$
$y_1+7y_2+y_3≥2$
$3y_1+y_2+y_3≥4$
$y_1≥0,y_2≥0,y_3无约束$

数学描述

对于一个问题：
$max(c^TX)$ $AX\le b,X\ge 0$
转换为对偶问题：
$min(b^TY)$ $subject:ATY≥c,Y≥0subject:A^TY≥c,Y\ge 0$
(以上 $A ， X ， Y ， c ， b$ 均为矩阵)

正确性

将dual的约束条件 $A^TY≥c$ 带入primal问题：
$cTX≤(ATY)TX=YTAXc^TX\le (A^TY)^TX=Y^TAX$
根据primal的约束条件 $AX≤bAX\le b$ 可以进一步得到：
$YTAX≤YTbY^TAX \le Y^Tb$
$Y^Tb$ 是最终的结果，是一个数值，所以其是一个 $(1 \times 1)$ 的矩阵，有 $Y^Tb=b^TY$
综上，我们得到 $cTX≤YTAX≤bTYc^TX\le Y^TAX\le b^TY$