支持向量机

最新推荐文章于 2023-12-18 17:42:07 发布

原创最新推荐文章于 2023-12-18 17:42:07 发布 · 1.1k 阅读

CC 4.0 BY-SA版权

支持向量机

　　从本质上来说，支持向量机是具有很多优秀性能的两类机器学习方法，要解释它是如何工作的，从模式分类中可分离模式的情况开始可能是容易的。在此背景下，支持向量机的主要思想可以总结如下：给定训练样本，支持向量机建立一个超平面作为决策曲面，使得正例和反例之间的隔离边缘最大化。

1.线性可分模式的最优超平面

　　考虑训练样本 $\{(x_i,d_i)\}_{i=1}^N$ ，其中 $x_i$ 是输入模式的第 $i$ 个样例， $d_i$ 是对应的期望响应（目标输出）。首先假设由子集 $d_i=+1$ 代表的模式（类）和 $d_i=-1$ 代表的模式是“线性可分的”。用于分离的超平面形式的决策曲面方程是：

ω T + b = 0 (1)

$\omega^T+b=0 \tag{1}$ 其中x是输入向量，

ω ω $\omega$ 是权值向量，

b b $b$ 是偏置。因此可以写成：

ω T + b \geq 0 当 d i = + 1 ω T + b \leq 0 当 d i = - 1 (2)

$\begin{equation}\begin{aligned} \omega^T+b\geq0 \quad\text{当$d_i=+1$}\\ \omega^T+b\leq0 \quad\text{当$d_i=-1$}\\ \end{aligned}\end{equation}\tag{2}$ 在这里做了模式线性可分的假设，以便在相当简单的环境里解释支持向量机背后的基本思想，在后面将会放宽这个假设。
　　对于一个给定的权值向量和偏置

ω ω $\omega$ 和偏置

b b $b$ ，由式(1)定义的超平面和最近的数据点之间的间隔被称为分离边缘，用

ρ ρ $\rho$ 表示。支持向量机的目标是找到一个特殊的超平面，这个超平面的分离边缘

ρ ρ $\rho$ 最大。在这种条件下，决策曲面称为最优超平面。图1描述二维的最优超平面的几何结构。
　　设

ω0 ω 0 $\omega_0$ 和

b0 b 0 $b_0$ 分别表示权值向量和偏置的最优值。相应地，在输入空间里表示多维线性决策面的最优超平面形式如下：

ω T 0 + b 0 = 0 (3)

$\omega_0^T+b_0=0\tag{3}$ 它是式(1)的改写。判别函数

g (x) = ω T 0 x + b (4)

$g(x)=\omega_0^Tx+b\tag{4}$ 给出从

x x $x$ 到最优超平面的距离的一种代数度量。看出这一点的简单方法或许是将

x x $x$ 表达为

x = x p + r ω 0 ∥ ω 0 ∥

$x=x_p+r\frac{\omega_0}{\Vert \omega_0\Vert}$ 其中，

xp x p $x_p$ 是

x x $x$ 在最优超平面上的正轴投影，

r r $r$ 是期望的代数距离；如果

x x $x$ 在最优超平面的正面，

r r $r$ 是正值；相反如果

x x $x$ 在最优超平面的负面，

r r $r$ 是负值。因为由定义知

g(xp)=0 g ( x p ) = 0 $g(x_p)=0$ ，由此推出：

g (x) = w T 0 + b 0 = r ∥ ω 0 ∥

$g(x)=w_0^T+b_0=r{\Vert \omega_0\Vert}$ 或者等价于：

r = g ( x ) ∥ ω 0 ∥ (5)

$r=\frac{g(x)}{{\Vert \omega_0\Vert}}\tag{5}$
　　尤其，从原点（即

x=0 x = 0 $x=0$ ）到最优超平面的距离由

b0/∥ω0∥ b 0 / ‖ ω 0 ‖ $b_0/{\Vert \omega_0\Vert}$ 给定。如果

b0>0 b 0 > 0 $b_0>0$ ，原点在最优超平面的正面；如果

b0<0 b 0 < 0 $b_0<0$ ，原点在负面；如果

b0=0 b 0 = 0 $b_0=0$ ，最优超平面通过原点。这些代数的几何解释在图2中给出。
　　

　　——————-
　　未完待续
- Markdown和扩展Markdown简洁的语法
- 代码块高亮
- 图片链接和图片上传
- LaTex数学公式
- UML序列图和流程图
- 离线写博客
- 导入导出Markdown文件
- 丰富的快捷键

快捷键

加粗 Ctrl + B
斜体 Ctrl + I
引用 Ctrl + Q
插入链接 Ctrl + L
插入代码 Ctrl + K
插入图片 Ctrl + G
提升标题 Ctrl + H
有序列表 Ctrl + O
无序列表 Ctrl + U
横线 Ctrl + R
撤销 Ctrl + Z
重做 Ctrl + Y

Markdown及扩展

Markdown 是一种轻量级标记语言，它允许人们使用易读易写的纯文本格式编写文档，然后转换成格式丰富的HTML页面。 —— [ 维基百科 ]

使用简单的符号标识不同的标题，将某些文字标记为粗体或者斜体，创建一个链接等，详细语法参考帮助？。

本编辑器支持 Markdown Extra , 　扩展了很多好用的功能。具体请参考Github.

表格

Markdown　Extra　表格语法：

项目	价格
Computer	$1600
Phone	$12
Pipe	$1

可以使用冒号来定义对齐方式：

项目	价格	数量
Computer	1600 元	5
Phone	12 元	12
Pipe	1 元	234

定义列表

Markdown　Extra　定义列表语法：项目１项目２

定义 A

定义 B

项目３

定义 C

定义 D

定义D内容

代码块

代码块语法遵循标准markdown代码，例如：

@requires_authorization
def somefunc(param1='', param2=0):
    '''A docstring'''
    if param1 > param2: # interesting
        print 'Greater'
    return (param2 - param1 + 1) or None
class SomeClass:
    pass
>>> message = '''interpreter
... prompt'''