Rongxuan的博客

前言支持向量机 SVM 是一种可以进行二分类、多分类以及回归分析的强大工具，并且 SVM 可以称得上表现较出色的监督学习算法，因此，我们一定得好好分析其原理，为啥它能够表现出色呢? 可视化的二分类问题我们来看看下面这张图： 假设红色的圈表示样本正例，绿色的圈表示样本反例。此时我们需要找到一条直线将这两类样本划分开(先忽略新样本点)。从图中可以看出我们可以有很多条直线可以划分...

前言在前一篇文章中介绍的 SVM 基本型，其实还可以进行优化。主要是利用核函数对向量内积的计算进行优化。另外，我们还将详细分析拉格朗日乘子法与KKT条件,以及KKT条件对SVM分类的作用。那我们先来看看核函数是什么。核函数在异或问题中，由于 0⊕0=00⊕0=00\oplus 0=0、1⊕1=01⊕1=01\oplus 1=0、0⊕1=10⊕1=10\oplus 1=1、1⊕0=1...

前言在经过前面漫长的 SVM 学习之后，是时候学习怎么实现 SVM 了。其实，SVM 常常表现得很好并且有着高效的训练算法，这使得 SVM 曾经非常盛行。只是近些年来，由于深度学习起势，SVM 才不再那么盛行，但它依旧是很好用的分类算法。所以探究 SVM 的原理及思想显得非常有必要，那么现在我们就谈谈 SMO 算法。 首先，在前面的 SVM 学习中，我们有如下对偶问题: maxα∑i=1m...

前言经过前面三篇漫长的 SVM 介绍以及 SMO 算法的原理介绍和公式推导，终于到了 SMO 的算法实现以及最终的 SVM 分类实现了。那么现在就先看看 SMO 的 python 实现。SMO python 实现 代码中的 αiαi \alpha_{i} ，αjαj\alpha_{j} 对应了前一篇中的 α1α1 \alpha_{1} 和 α2α2\alpha_{2}，并且代...