lf960731的博客

利用逻辑回归进行分类的主要思想是:根据现有的数据对分类的边界建立回归公式,以此进行分类。进行分类的函数应该接受任何输出，任何输入0或1。这就是单位阶跃函数，另一个函数具有相似的性质这就是Sigmoid函数：1/1+e^-z 该函数接受输入后输出一个在0到1之间的数值。为了实现逻辑回归，我们将所有特征值乘上一个回归系数，然后累和输入到Sigmoid函数中，输出结果小于0.5被分入0类，反之分入1类。...

基于概率论的分类方法:朴素贝叶斯,之所以称为"朴素",是因为整个分类过程之做最原始最简单的假设。分类器根据比较p（Ci|A）条件概率做出分类，其中p(Ci|A)是待分类的A属于类Ci的概率大小。一种有效的计算该条件概率的方法称为贝叶斯准则，即通过下式计算：p（Ci|A）= p（A|Ci）p(Ci)/p(A) 通过比较不同类的p（Ci|A）大小做出选择。朴素贝叶斯的假设每个特征值是相互独立的，且每个...

决策树之所以如此流行,一个很重要的原因是一个很重要的原因就是不需要了解机器学习的知识就能搞明白决策树是如何工作的。 决策树的优点：计算复杂度不高，输出结构易于理解，对中间值的缺失不敏感。缺点：可能产生过度匹配问题。 创建决策树分支createBranch（）的伪代码： if 数据集中所有数据都是同一类： return 类标签 else： 寻找划分数据集最好的特征 根据最好...

简单地说,k-NN算法就是根据测量不同特征值之间的距离来进行分类的。 输入没有标签的数据后，将新数据的每个特征值的和样本集的数据进行比较，然后提取样本集中特征最相似的数据，通常选取前k个最相似的数据，所有称为k-邻近算法。 K-NN算法的一般流程： （1）收集数据：可以使用任何方法。 （2）准备数据：计算所需要的数值。 （3）分析数据：可以使用任何方法。 （4）训练数据：不适用于k-NN算法。 （...