SVM算法教科书（一）

本文地址：http://blog.youkuaiyun.com/forest_world
写这篇取名为《SVM算法教科书》的文章目的有三，其一梳理思路，技术交流；其二，为了写一个工具软件，软件的功能是实现SVM算法的训练和识别；其三，也是最重要的一点，就是用于帮助入门者更好地开始算法的研究之路和提高者能够有一个更全面的提高。本文的思路，有别于其他的相关文章，但是也参考了相关的文章，本文的思路立意于一个算法工程师开始SVM算法的工程研究与运用。
此外，写这篇文章，参考的文章基本上都会注明出处，但是难免会有疏忽，欢迎指正，不胜感激涕零。
最后，也期待大家一起交流、研究、学习。现在已经是半夜一点，依然在键盘不息，我计划3月底，这篇文章在保证高质量的前提下可以与大家相见，为此我努力尽力。
一、Boost库在VS2010环境中使用
Boost库在VS2010环境中使用

二、支持向量机
参考资料：
SVM支持向量机算法的详细推导(详细到每个步骤,值得推荐)
1、Vapnik提出的支持向量机(Support Vector Machine，SVM)，解决模式分类与非线性映射问题。
从线性可分模式分类角度看， SVM的主要思想是： 建立一个最优决策超平面， 使得该平面两侧距平面最近的两类样本之间的距离最大化，从而对分类问题提供良好的泛化能力。根据cover定理：将复杂的模式分类问题非线性地投射到高维特征空间可能是线性可分的，因此只要特征空间的维数足够高，则原始模式空间能变换为一个新的高维特征空间，使得在特征空间中模式以较高的概率为线性可分的。此时，应用支持向量机算法在特征空间建立分类超平面，即可解决非线性可分的模式识别问题。
什么叫线性可分？就是可以用一条或几条直线把属于不同类别的样本点分开。
SVM主要针对小样本数据进行学习、分类和预测（有时也叫回归）的一种方法，能解决神经网络不能解决的过学习问题。类似的根据样本进行学习的方法还有基于案例的推理（ Case-Based Reasoning），决策树归纳算法等。
过学习问题： 训练误差过小导致推广能力下降，即真实风险的增加。
推广能力： generalization ability，也可以说是泛化能力，就是对未知样本进行预测时的精确度。

2、最优超平面的概念
考虑P个线性可分样本{$(X1,d1)$,$(X2,d2)$,…,$(X_{p-1},d_{p-1})$,…,$(X_{p},d_{p})$}，对于任一输入样本$X_p$ ，期望输出为$d_p =±1$（代表两类类别标识）。
用于分类的超平面方程为：
$W^TX+b=0$ 式2-2-1
式中， $X$为输入向量， $W$为权值向量， $b$为偏置（相当于前述负阈值），则有：

$$\begin{cases} W^TX^p+b>0, & \text{$d^p$=+1} \\ W^TX^p+b<0, & \text{$d^p$=-1} \end{cases}$$ 式2-2-2
超平面与最近的样本点之间的间隔称为分离边缘，用$ρ$表示。
支持向量机的目标是找到一个分离边缘最大的超平面，即最优超平面。也就是要确定使$ρ$最大时的$W$和$b$。
图2-2-1给出二维平面中最优超平面的示意图。可以看出，最优超平面能提供两类之间最大可能的分离，因此确定最优超平面的权值$W_0$和偏置$b_0$应是唯一的。在式子$W^TX+b=0$，定义的一簇超平面中，最优超平面的方程应为:$W^TX_0+b_0=0$ 式2-2-3
直接求$W_0$和$b_0$基本上不太可能，除了训练集无别的信息可用，如何办？
一种方法：使求得的预测函数 $y = f(x) = sgn(W·X + b)$对原有样本的分类错误率最小。 如何使分类错误率最小？下面慢慢分析：
$x > 0, sgn（x） = 1$
$x = 0, sgn（x） = 0$
$x < 0, sgn（x） = -1$

参考：支持向量机通俗导论（理解SVM的三层境界）
图2-2-1
继续分析：

北大SVM讲义

二次规划
MATLAB解二次规划


由解析几何知识可得样本空间任一点X到最优超平面的距离为：
，从而有判别函数：，$g(X)$给出从X到最优超平面的距离的一种代数度量。
将判别函数进行归一化，使所有样本都满足：

$$\begin{cases} W_0^TX^p+b_0>0, & \text{$d^p$=+1} \\ W_0^TX^p+b_0<0, & \text{$d^p$=-1} \end{cases}$$ 式2-2-4
则 对于离最优超平面最近的特殊样本Xs满足： $|g(Xs)|=1$， 称为 支持向量。由于 支持向量最靠近分类决策面，是最难分类的数据点，因此这些向量在支持向量机的运行中起着主导作用。
式2-2-4中的两行也可以组合起来用下式表示：

三、非线性支持向量机
对非线性可分模式分类， SVM的方法是， 将输入向量映射到一个高维特征向量空间，如果选用的映射函数适当且特征空间的维数足够高，则大多数非线性可分模式在特征空间中可以转化为线性可分模式，因此可以在该特征空间构造最优超平面进行模式分类，这个构造与内积核相关。
1、 基于内积核的最优超平面
设X为N维输入空间的向量，令$Φ(X)=[φ_1(X)，φ_2(X) ， …， φ_M(X)]^T$表示从输入空间到M维特征空间的非线性变换，称为输入向量X在特征空间诱导出的“像” 。按照前面思路，可在该特征空间构建一个分类超平面：$\sum_{j=1}^M \omega_jφ_j(X)+b=0$ 式3-1-1
式中的$w_j$为将特征空间连接到输出空间的权值， $b$为偏置或负阈值。
令 $φ_0(x) =1， w_0=b$，上式可简化为：$\sum_{j=0}^M \omega_jφ_j(X)=0$ (式3-1-2)或$W^TΦ (X)=0$(式3-1-3)
将适合线性可分模式输入空间的式：
$W=\sum_{p=1}^Pa_pd^pX^p$(式3-1-4)
用于特征空间中线性可分的“像”，只需用$Φ (X)$替换$X$，得到：
$W=\sum_{p=1}^Pa_pd^pΦ (X^p)$(式3-1-5)
将上式代入式3-1-3可得特征空间的分类超平面为：
$\sum_{p=1}^Pa_pd^pΦ ^T(X^p)Φ (X)=0$(式3-1-6)
式中$Φ^T (X^p) Φ (X)$表示第$p$个输入模式$X_p$在特征空间的像$Φ (X^p)$与输入向量$X$在特征空间的像$Φ (X)$的内积，因此在特征空间构造最优超平面时， 仅使用特征空间中的内积。

补充分析：

SVM算法教科书（二）

申明：本文为博主在研究工作中经验分享，包括学习笔记、摘录、研究成果，以备以后工作参考之用，欢迎交流和批评；其中参考资料的标注、引用难免会有疏漏之处，以及其它欠妥之处，如有请告知，立马更正，致歉，谢谢；未经博主允许不得转载。转载请注明：http://blog.youkuaiyun.com/forest_world