【统计学习方法笔记】附录C 拉格朗日对偶性

 

文章目录

• 1. 原始优化问题等价拉格朗日的极小极大问题
• 2. 对偶问题
• 3. 原问题和对偶问题的关系

 

1. 原始优化问题等价拉格朗日的极小极大问题

原始优化问题

ci(x)c_i(x)ci​(x)为不等式约束
hj(x)h_j(x)hj​(x)为等式约束

广义拉格朗日函数

其中αj,βj\alpha_j,\beta_jαj​,βj​称为拉格朗日乘子，αi≥0\alpha_i \ge 0αi​≥0

考虑以下关于x的函数：

有:

则θp(x)\theta_p(x)θp​(x)的极小化问题就等价于原优化问题:

min⁡xθp(x)\min_x\theta_p(x)minx​θp​(x)则称为广义拉格朗日函数的极小极大问题

2. 对偶问题

原始问题的对偶问题为广义拉格朗日函数的极大极小问题，即：

3. 原问题和对偶问题的关系

定理1
原优化问题与对偶问题最优值的关系：
d∗≤p∗d^* \le p^*d∗≤p∗

定理2
当原优化问题为凸优化问题，且满足slater条件时则存在x∗,α∗,β∗x^*, \alpha^*,\beta^*x∗,α∗,β∗使得：
p∗=d∗=L(x∗,α∗,β∗)p^* = d^* = L(x^*, \alpha^*,\beta^*)p∗=d∗=L(x∗,α∗,β∗)
即对原优化问题的求解可以转化为对对偶问题的求解。

凸优化问题满足两个条件：

1. 可行域为凸集；（可行域中任意两点之间的连线人在该可行域中）
2. 函数为凸函数
   slater条件是指，凸集的交集有内点。（凸集的交集仍为凸集，但不一定有内点）

定理3
x∗,α∗,β∗x^*, \alpha^*,\beta^*x∗,α∗,β∗满足KKT条件，则x∗,α∗,β∗x^*, \alpha^*,\beta^*x∗,α∗,β∗为原问题和对偶问题的解。（前提是满足定理2成立的条件）