Two view learning: SVM-2K, Theory and Practice心得(1)

Two view learning: SVM-2K, Theory and Practice心得

说来惭愧，作为研究生所看的第一篇论文，当英语阅读一样看了两个星期还是似懂非懂，好在今天跟导师开了个组会，才开始感觉迷迷糊糊的入门了，所以来总结一下关于这篇论文的心得。

1.回顾SVM

单一的SVM算法相信已经不陌生了，定义一个超平面$f(x)={\omega }^{T}x+b$,通过一系列运算（这个等我下一篇总结一下凸二次规划的时候再说说吧）得出不等式约束优化问题：
$$\{\begin{array}{rl}& max\frac{2}{\Vert \omega \Vert }\\ & s.t.y_i({\omega }^T{x}_i+b)\ge 1,i=1,2,...,n\end{array}(1.1)$$

为了方便求偏导(1.1)可简化为:(偷懒直接加松弛变量上去了)
$$\{\begin{array}{rl}& min\frac{1}{2}{\Vert \omega \Vert }^2+C\sum _{i=1}^n{\xi }_i\\ & s.t.y_i({\omega }^T{x}_i+b)\ge 1-{\xi }_i,i=1,2,...,n\end{array}(1.2)$$
之后就是通过拉格朗日乘子求对偶问题这里就先不赘述了。

2.SVM-2k前言

This paper therefore looks at the possibility of combining the two distinct stages of KCCA and SVM into a single optimisation that will be termed SVM-2K.

KCCA—核典型相关分析，听起来很玄幻，其实就是通过一个非线性的核函数，将一个低维的特征空间映射到高维。可以举个很简单的例子：

我们假设桌子上的不同食物就是不同的特征点，那他现在是被打乱的，我们怎么将他分类呢？显然线性方法已经是不可能完成这个任务的了。

嗯，那我们就学唐牛，气运丹田：

可以看到，这些食物从二维平面（桌子）一下震（映射）到了三维空间，这样我们就可以以通过一个二维平面去区分他了，这就是KCCA。

3.SVM-2K基本概念

An SVM can be thought of as a 1-dimensional projection followed by thresholding, so
SVM-2K combines the two steps by introducing the constraint of similarity between two
1-dimensional projections identifying two distinct SVMs one in each of the two feature
spaces.
支持向量机可以被认为是一个一维投影，因此SVM- 2k通过引入两个一维投影之间的相似性约束，将这两个步骤结合起来，识别出两个特征空间中的两个不同的支持向量机。

由论文所述，SVM-2k可以视为是两个单一的支持向量机结合在一起。举个例子，我面前有一堆火，我用中文说就叫火，英文说叫fire，两个的读音和文字（特征空间是不一样的，但是他们表达的都是一个意思，就是我面前的物体。
而这论文所做的实验是分类图像，用的是两个不同的特征点提取方式，一个是SIFT特征点提取方式，一个仿射不变矩兴趣点检测器(from affine invariant interest point detectors)（话说这是什么。。。） 。
然后我们就可以通过对不同的特征点提取方式分别做一个支持向量机分类。假设一个是$f_A(x)={\omega }_A^{T}x+b_A$,一个是$f_B(x)={\omega }_B^{T}x+b_B$,这样分别做运算就有两个不等式约束优化问题:
$$\{\begin{array}{rl}& min\frac{1}{2}{\Vert {\omega }_A\Vert }^2+C^A\sum _{i=1}^n{\xi }_i^A\\ & s.t.y_i({\omega }_A^T{x}_i+b_A)\ge 1-{\xi }_i^A,i=1,2,...,n\end{array}(3.1)$$

$$\{\begin{array}{rl}& min\frac{1}{2}{\Vert {\omega }_B\Vert }^2+C^B\sum _{i=1}^n{\xi }_i^B\\ & s.t.y_i({\omega }_B^T{x}_i+b_B)\ge 1-{\xi }_i^B,i=1,2,...,n\end{array}(3.2)$$

但是这样子的话也只是做了两个独立的SVM分类，那我如何将他们联合在一起呢？
按论文上所说，我们就要引入一个相似性约束。。。额，还是有点玄幻 。
这么说吧，众所周知$f(x)={\omega }^{T}x+b,f(x)$就代表点到分类的超平面的 距离，那我就将两个支持向量机相减：
$$\begin{array}{rl}\left|f_A(x)-f_B(x)\right|& =\left|{\omega }_A^T{x}_i+b_A-{\omega }_B^T{x}_i-b_B\right|\\ & \le {\eta }_i+ϵ\end{array}(3.3)$$
其中${\eta }_i$正是两个支持向量机联立的松弛量。
简单来说，$f(x)$是点到超平面的距离，而两个$f(x)$相减正是得到两个点之间的距离，而因为之前我说过，两个支持向量机表示的是一个东西，表达同一种含义，只是视角（view）不同，所以我希望他们之间的距离尽可能小，而这又可以添加到不等式约束优化问题中，最后得出:
$$\{\begin{array}{rl}& min\frac{1}{2}{\Vert {\omega }_A\Vert }^2+\frac{1}{2}{\Vert {\omega }_B\Vert }^2+C^A\sum _{i=1}^n{\xi }_i^A+C^B\sum _{i=1}^n{\xi }_i^B+D\sum _{i=1}^n{\eta }_i\\ & s.t.\left|{\omega }_A^T{x}_i+b_A-{\omega }_B^T{x}_i-b_B\right|\le {\eta }_i+ϵ\\ & y_i({\omega }_A^T{x}_i+b_A)\ge 1-{\xi }_i^A,i=1,2,...,n\\ & y_i({\omega }_B^T{x}_i+b_B)\ge 1-{\xi }_i^B,i=1,2,...,n\\ & {\xi }_i^A\ge 0,{\xi }_i^B\ge 0,{\eta }_i\ge 0\end{array}(3.4)$$
至于接下来的代码以及化成对偶问题还没想，未完待续吧。。。。