机器学习实战读书笔记-kNN分类算法

kNN算法伪代码：

1】计算已知类别数据集中的点与当前点之间的距离

2】按照距离递增次序排序

3】选取与当前点距离最小的k个点

4】确定前k个点所在类别的出现频率

5】返回前k个点出现频率最高的类别作为当前点的预测分类

源代码实现：

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1) #向量的每一行相加
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort() #返回数值从小到大的索引值    
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 #统计分类标识的频率次数
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) #得到出现频率的字典数据（从大到小）
    return sortedClassCount[0][0] #返回出现频率最大的标签