ML—SVM高级应用总结

华电北风吹
日期：2015/12/3

SVM近期研究结果总结，不定期更新。。。
一、SVM提升算法
基于单个SVM分类器构建强分类器。核函数采用RBF核$K(x_i,x_j)=e^{-\gamma||x_i-x_j||^2}$的时候会发现，采用较小的$\gamma$容易欠拟合，而较大的$\gamma$又会造成过拟合，这在使用单个分类器的时候在配合Adaboost的样本权重更新机制，就可以达到boosting的效果。
(http://download.youkuaiyun.com/detail/zhangzhengyi03539/9267641)

二、SVM的多核学习
SVM里面引入核技巧是一个成功。而多核学习则是将这个成功更大大的往前推进了一步。SVM里面的多核分为两种情况：
1、通过一些简单的核构造新的核
假设有m个样本$(x_i,y_i),x_i\in R^n, y_i \in R,i=1,2,...,m$，分别建立p个不同的核函数$K_k(x_i,x_j),i,j\in 1,2,...,m,k\in 1,2,...,p$，模型自动选择各个核下的权重，训练分类器，模型表述如下
$K(x_i,x_j)=w_1K_1(x_i,x_j)+w_2K_2(x_i,x_j)+...+w_pK_p(x_i,x_j)$
参考：(http://blog.youkuaiyun.com/zhangzhengyi03539/article/details/50062057)

2、对样本特征的不同子集使用不同的核函数
假设有m个样本$(x_i,y_i),x_i\in R^{n\times p}, y_i \in R,i=1,2,...,m$，其中$x_i=[x_{i1},x_{i2},...,x_{ip}]$表示p个模态或者p个任务下采集到的数据，因此可以对每个模态下的特征分别建立核函数，也就是建立p个核函数$K_k(x_{ik},x_{jk}),i,j\in 1,2,...,m,k\in 1,2,...,p$，然后给每个核函数分配合适的权重，训练分类器，模型表述如下
$K(x_i,x_j)=w_1K_1(x_{i1},x_{j1})+w_2K_2(x_{i2},x_{j2})+...+w_pK_p(x_{ip},x_{jp})$
这种类型可以通过libsvm里面的自定义核函数方便求解。

三、SVM级联
SVM级联操作就是把SVM输出值不进行符号函数运算，而是在打上标签训练下一级的SVM。这方面应用我所见的应用最好的就是程明明2014年发表在cvpr上的关于一般物体检测的文章，文章数据集代码均可以下载运行。
参考：
(http://www.cvchina.info/2014/02/25/14cvprbing/)