优化问题与KKT条件

“初学者”并不是不好好理解其中的数学的借口，终于下定决心好好理解SVM了，先从KKT条件开始。

A. 优化问题的分类

首先是要知道问题是定义在$\mathbb{R}^n \to \mathbb{R}$，即$y = f(\overrightarrow{x})$。
第一种优化问题是没有任何约束的，即求一个最优解$\overrightarrow{x_0}$使得对任意的$\overrightarrow{x}$，都有$f(\overrightarrow{x_0}) <= f(\overrightarrow{x})$。这个一般用多元函数求极值的方法就可以解决了，即求$f(\overrightarrow{x})$的导数，令其为0，求解出来即可（？？是全导数还是偏导数，这个还得再看看）。

第二种是有等式约束的，即问题为：

$$min\ f(\overrightarrow{x}),\ s.t.\ h_i(\overrightarrow{x}) = 0, i = 1, 2, \ldots, p$$

这种一般用拉格朗日乘子法来（Lagrange Multiplier）求解，即将问题转化成求解：

$$min\ F(\overrightarrow{x}),\ F(\overrightarrow{x}) = f(\overrightarrow{x}) + \sum_{i=1}^{p} h_i(\overrightarrow{x})$$
【先写一下自己对SVM的公式推导的理解】【未完待续】

$$\begin{aligned} \mathcal{L}(\overrightarrow{\omega}, b, \overrightarrow{\alpha}) &= \frac{1}{2}\|\omega\|^2 - \sum_{i=1}^{n} \alpha_i[y_i(\overrightarrow{\omega}^T\overrightarrow{x_i} + b) - 1] \\ &= \frac{1}{2}\overrightarrow{\omega}^T\overrightarrow{\omega} - \sum_{i=1}^{n} \alpha_iy_i\overrightarrow{\omega}^T\overrightarrow{x_i} - \sum_{i=1}^{n}\alpha_iy_ib + \sum_{i=1}^{n}\alpha_i\\ &= \overrightarrow{\omega}^T(\frac{1}{2}\sum_{i=1}^{n} \alpha_iy_i\overrightarrow{x_i}) - \overrightarrow{\omega}^T(\sum_{i=1}^{n} \alpha_iy_i\overrightarrow{x_i}) - b\sum_{i=1}^{n}\alpha_iy_i + \sum_{i=1}^{n}\alpha_i\\ &= \sum_{i=1}^{n}\alpha_i - \overrightarrow{\omega}^T(\frac{1}{2}\sum_{i=1}^{n} \alpha_iy_i\overrightarrow{x_i})\\ &= \sum_{i=1}^{n}\alpha_i - \frac{1}{2}(\sum_{i=1}^{n} \alpha_iy_i\overrightarrow{x_i}^T)(\sum_{i=1}^{n} \alpha_iy_i\overrightarrow{x_i})\\ &= \sum_{i=1}^{n}\alpha_i - \frac{1}{2}\sum_{i=1}^{n} \sum_{j=1}^{n} \alpha_i\alpha_jy_iy_j\overrightarrow{x_i}^T\overrightarrow{x_j} \end{aligned}$$

Reference：
1. http://www.cnblogs.com/zhangchaoyang/articles/2726873.html
2. http://blog.youkuaiyun.com/xianlingmao/article/details/7919597
3. https://www.cs.cmu.edu/~ggordon/10725-F12/slides/16-kkt.pdf