蒋志碧的博客

决策树 (Decision Tree) 是一种有监督学习方法，通过特征和标签构造一棵决策树，学习特征之间的规则，以解决分类和回归问题。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。决策树由以下 3 种元素构成：根节点：包含样本全集内部节点：对应特征属性测试叶节点：决策结果 (标签)...

在 SVM 白板推导| 由最大间隔化目标演化的损失函数推导过程 中白板手推了 SVM 的原理，并介绍了硬间隔核函数的实现原理及公式推导，这一节我来详细介绍下 SVM 中的 Keynel Function。一直以来我们只知道核函数能让 SVM 在高维空间中实现非线性可分，那么，核函数是在什么情况下被提出的呢？又有哪几种核函数呢？本篇文章从 2 个角度讲解 SVM 核函数。非线性带来高维转换...

从线性可分到线性不可分PLA 从线性可分到线性不可分，有 3 种不同的形态。线性可分：PLA一点点错误：Pocket Algorithm严格非线性：Φ(X)Φ(X)Φ(X) + PLA接下来，详细解释下，这三种模型如何而来。PLA 的演变过程PLA 全称是 Perceptron Linear Algorithm，即线性感知机算法，属于一种最简单的感知机（Perceptron）模型。...

SVM 英文名为 Support Vector Machine，叫支持向量机，SVM 是一个二分类模型。感知机学习算法会因为初始值不同而得到不同的超平面，而 SVM 试图寻找一个最佳超平面，来划分数据，怎么才算最佳呢？我们自然能想到，距离样本点距离尽可能的远，模型的泛化性能和鲁棒性更强为最好，而且可以找到一条唯一的超平面。如下图可以看出，感知机的超平面可以有无数条，SVM只要找到一条距离样本点...