觉得讲的最好的博文是下面这一篇:
https://blog.youkuaiyun.com/xianlingmao/article/details/7919597
不等式约束的方程先最小化x再最大化参数,这种形式与目标方程是等价的但是方便于计算,所以写成这种形式
对偶问题:原问题的等价问题叫做对偶问题,研究原问题觉得很复杂,通过不断地转变形式让他成为多个容易研究的子问题.
https://www.zhihu.com/question/58584814
又红又专的phd的回答挺好的,可以感受一下对偶问题的转换过程,这一系列的过程是在心里完成的,直接拿出来第一个目标方程让你求解它的最小值,就需要想到一步到位转换成最后一个公式去求解.
增广拉格朗日设计的数学参考文献:
[1]Multiplier and Gradient Methods,1969
[2]constrained optimization and lagrange multiplier methods(page 104),1982