数清风的博客

作为一个听起来非常Naive的分类器，Naive Bayes Classifier使用了“属性条件独立性假设”，也就是假设所有属性相互独立。分类器的目的，是对任一测试样本xx,利用贝叶斯定理求出后验概率最大的输出类。

本文主要基于李航《统计学习方法》与周志华《机器学习》完成，加入了若干个人推导与注解，文后附Python3源码。跟我推导完，相信你一定会有收获。目录初识SVM第一重 · 线性硬间隔支持向量机第二重 · 线性软间隔支持向量机第三重 · 非线性支持向量机迈门利器 · 序列最小最优化算法迈门演示 · Python源码参考文献

GBDT梯度提升树原理剖析在前面的文章中，我写了ID3及CART决策树的思路，但我们只是将其用来做分类。注意到CART的名字：Classification And Regression Tree，当我们利用其进行回归时，它的名字就变成了回归树。GBDT（Gradient Boosting Decision Tree）就是一种基于回归的预测方法。今天我们来看一看这个算法的原理。先来熟悉一下回归树的方法

聚类是机器学习问题中无监督学习的一个典型例子。在实际中，并非所有样本都可以贴上标签，在数据量极为庞大的时候，比如视频帧标注，对每个样本都进行贴注标签需要耗费极大精力。在无监督问题中，训练样本是没有标签的，如何对无标签训练样本进行学习，发现其内在的分布结构，同样是学术界和工业界赖以追求解决的一个问题，也是机器学习的一个未来发展方向。聚类将给定的样例集划分为若干个互不相交的子集。

决策树是一个有向无环图，由节点和有向边组成，根节点代表所有的样例，内部节点表示样例的一个属性，叶节点代表一个类。我们先来看WikiPedia上给出的例子，从而对决策树有一个直观理解。 这个图里，我们可以看到，是否出门浪要受到几个变量的影响：天气、温度、湿度、多云这四个，是一个14行5列的数据集。根据这个数据集，我们可以得到下面的决策树。 最开始的根节点上，包括14个样例，分别是9个浪、5个不浪。

这一部分，我使用了sklearn来调用决策树模型对葡萄酒数据进行分类。在此之外，使用Python调用AT&T实验室开源的画图工具GraphViz软件以实现决策树的可视化。from sklearn.datasets import load_irisfrom sklearn import treefrom sklearn.externals.six import StringIOimport py