sunnnnman的博客

机器学习实战笔记（4）一、K-均值聚类算法1、算法介绍​ k均值聚类算法（k-means clustering algorithm）是一种理解和实现都比较简单的算法，属于无监督学习，主要实现聚类（Clustering),即将相似的数据归到同一簇，簇内对象越相似，聚类的效果越好。​ k均值聚类算法是一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚

机器学习实战笔记（3）一、基于概率论的分类方法：朴素贝叶斯1、贝叶斯定理​ 贝叶斯定理由英国数学家贝叶斯发展，用来描述两个条件概率之间的关系，比如 有P(A|B) 和 P(B|A)，则有公式为：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)，可变形为：P(A|B)=P(B|A)*P(A)/P(B)。比如你发现天空乌云密布，刮起大风，那可能是要下雨了。这就是说，当你不能准确知悉一个事物的本质时，你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。 用数学语言表达

机器学习实战笔记（2）一、决策树决策树的一个重要任务是为了数据中所蕴含的知识信息，因此决策树可以使用不熟悉的数据集合，并从中提取出一系列规则，在这些机器根据数据集创建规则时，就是机器学习的过程。工作原理：得到原始数据集，然后基于最好的属性值划分数据集，由于特征值可能多于两个，因此可能存在大于两个分支的数据集划分。然后第一次划分之后，数据将被向下传递到树分支的下一个节点，在这个节点上继续划分数据，采用递归原理处理数据集。递归结束的条件：程序遍历完所有划分数据集的属性（C4.5、CART并不在每次划分都消

机器学习实战笔记（1）一、k-近邻算法1、算法主要实现步骤计算已知类别数据集中的点与当前点之间的距离（欧式距离公式）；按照距离递增次序排序；选取与当前点距离最小的K个点；确定前K个点所在类别出现频率；返回前K个点出现频率最高的类别作为当前的点的预测分类；2、示例1 约会配对（1）数据散点图对数据1、2列属性值绘制散点图如下（三种分类采用颜色区分）(2)判断所属分类def classify0(inX, dataSet, labels, k): '''计算该点到每个点的距离