凸优化进阶之对偶理论

1.对偶

一般优化问题

Lagrargian

λ≥0，一种惩罚的观点

主问题

有约束问题通过拉格朗日函数变成无约束问题，这里的主问题p^*是结论。
hi(x)=0，λ>0,fi(x)≤0。因此max_λ,v是小于等于0的，因此最大值是0。
主问题是一个minmax问题

Lagrangian对偶函数

对偶函数g(λ,v)是仿射函数，凹函数。为原问题最优值的一个下界，所以对其找个最大的，矮子里拔将军。

Lagrangian对偶问题

对偶几何解释

p^*原问题最优解≈1.5，g(λ)≤p*

强弱对偶解释

强弱就是d和p的关系
slater是充分条件

从对偶问题解主问题

KKT条件

主对问题思考

2.问题案例

略