PRML第七章稀疏核机 （RVM）



PRML第七章 稀疏核机 总结

很长一段时间没有做自我总结，也没有意识去写博客了。今天想来谈谈SVM与RVM（两种稀疏核方法）。（最近正在自学，然后遇到各种问题，也懂了一些问题，所以想要总结一下），本文主要分为三个部分对稀疏核机进行阐述，SVM，RVM以及SVM和RVM的区别。

1、内容简介

首先是SVM，其核心在于实现最大分类间隔，常用于二分类。它是一种稀疏核机方法，但是不能预测概率，那么什么是稀疏核机呢，稀疏顾名思义就是少的意思，核代表的是核函数，机在机器学习当中表示一种算法，总的来说就是用少量的样本，借助于核函数实现的一种机器学习算法，那么为什么要用核函数呢？原因在于，核函数可以实现线性不可分的情况，将低维空间转化为高维空间，从而将线性不可分问题转化为线性可分问题来实现。

在介绍SVM与RVM的原理之前，首先介绍一下两者简单的原理上的区别：

（1）SVM基于结构风险最小化原则构建的学习机，不提供后验概率。可以看作是基于距离的硬分类。（频率学派）

（2）RVM：基于贝叶斯框架构建学习机，利用自动相关理论（ ARD ）来移除不相关的点，提供后验概率，能产生比SVM更稀疏的解。基于概率的软分类。（贝叶斯学派）

好了，了解了稀疏核机的含义以及SVM与RVM简单的却别以后，下面来介绍SVM。

2、SVM相关知识理论

（1）SVM的运用环境

• 解决小样本问题

• 非线性以及高维模式识别问题

• 应用到函数拟合等问题中

• 文本分类，人脸识别等

（2）SVM的实现原理
      PRML这本书上主要介绍了基于SVM的二分类（线性分类与非线性分类），多分类的情况，下面将逐步介绍：

在介绍之前，我们首先要明白SVM的目标主要是：利用最大化分类边缘（margin）的原理来实现的。那么什么是分类边缘呢？分类边缘（margin）：决策边界与任意样本之间的最小距离。

图中，很清楚的可以看到margin，也就是分类边缘，我们要做的就是在保证误差最小化的情况下，最大化分类边缘。红色的线就是我们要找的决策线（面）。

a.二分类的情形

模型：

输入：