DullardFighting

先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等于0，然后解出w和。至于为什么引入拉格朗日算子可以求出极值，原因是f(w)的dw变化方向受其他不等式的约束，dw的变化方向与f(w)的梯度垂直时才能获得极值，而且在极值处，f(w)的梯度与其他等式...

在优化问题中，很多求解方法都需要利用到目标函数的梯度信息，比如梯度下降法(gradient descent)，但是在实际情况中，经常会碰到不可导的情况，这时就需要用到次梯度(Subgradient)这个概念了。官方定义就不抄了，大致就是：ggis a subgradient offf(convex or not) atxxiff(y)≥f(x)+gT(y−x),∀yf(y)≥f(x)+gT(y−x),∀y这里主要包含两层意思：1.用次梯度对原函数做出的一阶展开估计总是比真实值要小；...

在约束最优化问题中，常常利用拉格朗日对偶性（Lagrange duality）将原始问题转换为对偶问题，通过解对偶问题而得到原始问题的解。这是因为：1）对偶问题的对偶是原问题；2）无论原始问题与约束条件是否是凸的，对偶问题都是凹问题，加个负号就变成凸问题了，凸问题容易优化。3）对偶问题可以给出原始问题一个下界；4）当满足一定条件时，原始问题与对偶问题的解是完全等价的；原始问题： 假设f(x),ci(x),hj(x)是定义在Rn上的联系可微函数，考虑约束条件下最优化问...