chchlh的专栏

from numpy import * import operator def createDataSet(): group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) labels = ['A', 'A', 'B', 'B'] return group, labels def classify0(inX, dat

from numpy import * import operator #创建数据集 def createDataSet(): group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) labels = ['A', 'A', 'B', 'B'] return group, labels #根据输入测试实例进行k-近邻

//k-近邻算法简单版 两类分类器 //数据量特别大的话，不能用冒泡排序，应该使用优先队列或者K最大/小堆来维护 #include #include using namespace std; double d1[10000], d2[10000], d3[10000], d4[10000]; int y[10000]; int t1[10000], t2[10000], t3[10000],

归一化的公式： newValue = (oldValue - min) / (max - min) 就是把数据归一化到[0, 1]区间上。 好处： 防止某一维度的数据的数值大小对距离就算产生影响。多个维度的特征是等权重的，所以不能被数值大小影响。 下面是归一化特征值的代码： #归一化特征值 def autoNorm(dataSet): minVals = dataSet.min

关于可视化： 《机器学习实战》书中的一个小错误，P22的datingTestSet.txt这个文件，根据网上的源代码，应该选择datingTestSet2.txt这个文件。主要的区别是最后的标签，作者原来使用字符串‘veryLike’作为标签，但是Python转换会出现ValueError: invalid literal for int() with base 10: 'largeDoses'

from numpy import * import operator from os import listdir #创建数据集 def createDataSet(): group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) labels = ['A', 'A', 'B', 'B'] return group,

kNN算法总结 kNN算法是分类算法里面最简单的。也很有效。但是它的缺点过于明显，以至于大家都不会用。 就是时间和空间复杂度都太大了。 kNN算法必须保存所有的数据集，如果数据很大，空间占用十分大。 对每个数据集的每个数据特征都需要计算距离值，这个在实际使用中将是致命的，十分耗时。 鉴于此，它的算法一般仅仅适用于机器学习入门和开阔思维，实际中很少用。

关于ID3算法百度文库有一篇十分详细的文章，介绍看一个例子，给出了具体的计算过程。 文章链接：http://wenku.baidu.com/view/7933c2f6f61fb7360b4c65fd.html 这是最后的决策树的形状，来源是百度文库。 另有一篇优快云博客介绍ID3算法：http://blog.youkuaiyun.com/zhaoyl03/article/details/86656

from math import log #计算给定数据集的香农熵 def calcShannonEnt(dataSet): numEntries = len(dataSet) labelCounts = {} for featVec in dataSet: currentLabel = featVec[-1] #为所有的可能分类创建字典