yeqiustu的博客

前面我们知道，SVM本质是一个线性分类器，如果数据本身线性不可分，那SVM就不能直接应用了；虽然不能直接应用，但还是可以先把数据变得基本线性可分再应用SVM；那如何把数据从线性不可分变成基本线性可分的状态呢？答案便是进行空间转换，把数据从一个空间转换到另一个空间；一个最自然的想法便是低维空间到高维空间的转换，既然在低维空间线性不可分，那便转换到高维空间，也许就能基本线性可分了；如下图所示，一维空间...

该系列将通过以下几篇来讲述SVM：SVM优化目标 这篇主要讲SVM的基本思想以及优化目标的推演 软件间隔 支持向量 SVM求解--对偶 这篇主要讲SVM优化目标的对偶问题，即如何将难以求解的优化目标转出容易求解的对偶问题 SVM求解--smo 这篇主要讲SVM对偶问题的高效求解算法--smo 非线性SVM--kernel 这篇主要讲非线性SVM，即通过ker...

在SVM--基本思想中讲到SVM的优化目标，这里再贴出来，如下：这是一个二次规划问题，虽然可以直接应用KKT条件进行求解，但是还是太过复杂，不易求解；首先对该问题进行一下转化，设其中、、，，也即有，参照KKT的证明，易知，当 时，，等式右边是等式左边的对偶最终，SVM的优化目标等价于先求，即将这些代入上公式，即有当时，，有当时...

本篇是SVM（support vector machine）系列的第一篇，主要讲述SVM的基本思想。本文将围绕以下几个问题进行展开：1. SVM的基本思想是什么2. SVM的优化目标怎样推演而出的3. 什么是支持向量（support vector）SVM的基本思想SVM本质上来说是一个线性二分类器（可以先对输入X进行非线性变换再送入SVM从而实现非线性分类）对于一个分类...

本篇是SVM系列的最后一篇，将讲解SVM的求解，即SMO算法待优化问题回顾一下，SVM的优化问题最终可以转化为如下形式：显然，该问题同样不好直接优化求解，而Platt提出的SMO算法便是一个可以高效的求解上述问题的算法，他把原始问题的求解N个参数二次规划问题分解成多个二次规划问题进行迭代求解，即每次选择一对变量而固定其它变量来进行求解；根据问题的等式约束，当变动时，也要随之变动以满...