罚函数法、增广拉格朗日函数法

本文部分内容来自罚函数法

一，约束优化问题

约束优化问题：

约束优化问题相比于无约束问题的困难：

• 约束优化问题中x不能随便取值，梯度下降法所得点不一定在可行域内
• 最优解处目标函数的梯度不一定为零向量。

二，罚函数法

罚函数法的思想是将约束优化问题转化为无约束优化问题来进行求解．

无约束优化问题的目标函数为原约束优化问题的目标函数加上与约束函数有关的惩罚项。

对于可行域外的点，惩罚项为正，即对该点进行惩罚；对于可行 域内的点，惩罚项为0，即不做任何惩罚。

三，二次罚函数法

约束优化问题：

无约束优化问题：

无约束优化问题类似于求鞍点，但又不太一样，因为鞍点问题是静态的，而带罚函数的无约束优化问题是动态的。

表面上，我们要求x使得P最小，求σ使得P最大，像是个鞍点。