算法中的最优化方法和实现 (第7课 有约束的非线性规划)

一、学习目标

根据约束条件的类型，将问题分为4类：线性等式、非线性等式、线性不等式、非线性不等式。学习对于不同的问题，使用不同的方法进行求解。统一的思想都是消解法，即消去约束条件，将有约束的问题转化为无约束的问题，再进行求解。

注意：我们说的非线性规划，说的是目标函数是非线性的，而上面讲的线性和非线性，指的是约束函数。

二、线性等式约束的非线性规划

对于等式约束，我们可以通过映射法将约束条件约去。原理就是原本的x处于随机数据空间，先将其限制在Ax=b的超平面中，随机数据空间变为超平面空间中，既然在超平面空间中，就不会背离原来的约束。

具体方法就是用奇异值分解，（奇异值分解原本用于求非方阵的逆，显然，我们的A不一定是方阵）具体矩阵的计算见下面的例子：

三、非线性等式约束的非线性规划

实际上，对于非等式约束问题，我们并没有更专的算法，只有使用拉格朗日算子法消去约束函数，而之后，除了梯度下降法外，我们还是可以使用上一节课的方法来求解。

四、线性不等