神经网络与机器学习 笔记—支持向量机（SVM）(上)

支持向量机（SVM）的主要思想：

给定训练样本，支持向量机建立一个超平面作为决策曲面，使得正例和反例之间的隔离边缘被最大化。

线性可分模式的最优超平面

训练样本{（xi,di）}^N i=1 ,其中xi是输入模式的第i个样例，di是对应的期望相应（目标输出）。首先假设由子集di=+1代表的模式（类）和di=-1代表的模式是“线性可分的”。用于分离的产平面形式的决策曲面方程是：

W^T X + b = 0

其中X是输入向量，W是可调的权值向量，b是偏置。因此可以写成:

W^T X + b  >= 0  当di=+1

W^T X + b   < 0  当di=-1

在这里做了模式线性可分的假设，以便在相当简单的环境里解释支持向量机背后的基本思想；对于一个给定的权值向量W和偏置b，由式W^T X + b = 0定义的超平面和最近的数据点之间的间隔被称为分离边缘，用ρ表示