(斯坦福机器学习课程笔记)支持向量机之拉格朗日函数的对偶问题

用拉格朗日函数求解最优化问题时也可以先找到其对偶问题再求解

对于无等式约束的问题:
$\min\limits_{x} \quad f(x)$
$s.t.\ \ g_j(x)\leq0$
构造拉格朗日函数:
$L(x,\mu)=f(x)+\mu_jg_j(x)$

========================下面是一些推导过程========================
因为$\mu\geq0$，$g(x)\leq0$
所以$\max\limits_{\mu}\ L(x,\mu)=f(x)$
因此$\min\limits_{x}\ f(x)=\min\limits_{x}\ \max\limits_{\mu}L(x,\mu)$
此时，调换最大最小的次序，看能得到什么。。。
$\max\limits_{\mu}\min\limits_{x}L(x,\mu)=\max\limits_{\mu}(\min\limits_{x}f(x)+\min\limits_{x}\mu_jg_j(x))=\min\limits_{x}f(x)+\max\limits_{\mu} \min\limits_{x}\mu_jg_j(x)$
因为$\mu\geq0$，$g(x)\leq0$
所以当$\mu=0$或者$g(x)=0$时，$\max\limits_{\mu} \min\limits_{x}\mu_jg_j(x)=0$，否则$\max\limits_{\mu} \min\limits_{x}\mu_jg_j(x)=-\infty$
所以$\max\limits_{\mu}\min\limits_{x}L(x,\mu)=\min\limits_{x}\ f(x)$，此时$\mu=0$或者$g(x)=0$
所以$\min\limits_{x}\ f(x)=\min\limits_{x}\max\limits_{\mu}L(x,\mu)=\max\limits_{\mu}\min\limits_{x}L(x,\mu)$
$\max\limits_{\mu}\min\limits_{x}L(x,\mu)$叫做对偶问题
$\min\limits_{x}\max\limits_{\mu}L(x,\mu)$叫做原问题
当满足一定条件时，可用K.K.T求解对偶问题，得到的解即原问题的解

==============================例题=============================
上篇笔记里的例题，现在想通过这篇笔记的方法找出对偶问题
$min \ x+3y$
$s.t. \ \ x+y\geq2$
$x,y\geq0$
解:
构造拉格朗日函数$L(x,y,\lambda)=x+3y+\lambda_1(2-x-y)+\lambda_2(-x)+\lambda_3(-y)$
令$\frac{\partial\ L}{\partial \ x}=0$和$\frac{\partial\ L}{\partial \ y}=0$
得到$1-\lambda_1-\lambda_2=0$和$3-\lambda_1-\lambda_3=0$
又$L(x,y,\lambda)=x-\lambda_1x-\lambda_2x+3y-\lambda_1y-\lambda_3y+2\lambda_1=2\lambda_1$
此时，问题转化为
$max\ \ 2\lambda_1$
$s.t.\ \ \lambda_1+\lambda_2=1$
$\lambda_1+\lambda_3=3$
$\lambda_1,\lambda_2,\lambda_3\geq0$
可知与上篇笔记中得到的对偶问题相同
解得$\lambda_1=1$,$\lambda_2=0$,$\lambda_3=2$
原问题的解是2