机器学习实战--最简单算法--KNN算法（k-近邻算法）

参考书籍--《机器学习实战》

k-近邻算法（一下简称knn算法）是机器学习中最简单的算法，通过计算待预测分类点到已知类别点之间的距离，通过距离的远近来分类带预测分类点，越近表示这两种点的类别越近。

优点：精度高，对异常值不敏感

缺点：计算复杂度高（不适合数据量较大的分类），空间复杂度较高

knn算法属于有监督学习算法，每次对数据分类时都要对所有的数据进行计算，所以有计算复杂度的问题。

待测数据标签类别的选定：

1、指定参考点距离待测点的最近的个数n

2、对n中标签类别进行统计，哪类标签占的比重多，待分类的数据就属于哪一类别。

思路：

1、数据样本A 对应的标签B 距离最近点个数为n

2、带预测的数据c

3、遍历c到A中每个点的距离，计算结果记录为E。

4、对距离结果E经行从小到大的排序。

5、取结果E中前n个记录，对其进行类别统计。

6、对上一步骤5的进行分析，哪一类别比重大，则该待测数据就属于哪一类别。

Python代码实现：

from numpy import *
import operator

test = [0,0]
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
labels = ["A", "A", "B", "B"]
n = 2

dataSetSize = group.shape[0]
diffMat = tile(test,(dataSetSize,1)) - group

#distances
sqDifffMat = diffMat**2
sqDistances = sqDifffMat.sum(axis=1)
distance = sqDistances**0.5

#sort
sortedDistIndicies = distance.argsort()
classCount = {}
for i in range(3):
    classCount[labels[sortedDistIndicies[i]]] = classCount.get(labels[sortedDistIndicies[i]], 0) + 1

sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
print "Type is :", sortedClassCount[0][0]