k-近邻算法实战-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_36761349/article/details/81604240

举例：

使用k-近邻算法分类爱情片和动作片。有人曾经统计过很多电影的打斗镜头和接吻镜头，如表2-1显示

SHAPE \* MERGEFORMAT

首先计算未知电影与样本集中其他电影的距离，如表2-2所示。

SHAPE \* MERGEFORMAT

现在我们得到了样本集中所有电影与未知电影的距离，按照距离递增排序，可以找到K个距离最近的电影。假定k=3, 则三个最靠近的电影依次是Hes Not Really into Dudes、Beautiful Woman和California Man。k-近邻算法按照距离最近的三部电影的类型，决定未知电影的类型，而这三部电影全是爱情片，因此我们判定未知电影是爱情片。

工作原理：存在一个样本数据集合（也称作训练样本集），并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最邻近）的分类标签。一般来说，选取样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

实施kNN算法

对未知类别属性的数据集中的每个点依次执行以下操作：

（1）计算已知类别数据集中的点与当前点之间的距离；

（2）按照距离递增次序排序；

（3）选取与当前点距离最小的k个点；

（4）确定前k个点所在类别的出现频率；

（5）返回前k个点出现频率最高的类别作为当前点的预测分类。

代码如下：


from numpy import *
import operator
def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()     
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

 
def createDataSet():
	group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])      
	labels=['A','A','B','B']
	return group,labels

代码解释：

shape[0] 计算矩阵的行数，shape[1]计算矩阵的列数
tile 数组inX以dataSetSize行1列重复，例如：intX 为[1, 1]，则tile计算后[0, 0]
[1,1]

[1, 1]

[1, 1]
** 是指次方， diffMat**2 为diffMat的平方, 比如[1, 2]**2 = [1, 4]
sqDiffMat.sum(axis=1) 指array中每行元素的和，这些和再组成一个array
get() 方法语法：

1

D.get(key[,default=None]

key -- 字典中要查找的键。default -- 可选参数，如果指定键的值不存在时，返回该值，默认为 None。
classCount = {}新建一个dict， dict提供的get方法，如果key不存在，可以返回None，或者自己指定的value，这里classCount.get(voteIlabel, 0)是指不存在相对应key值的value则返回0.
　例如：　　>>> d = {'Michael': 95, 'Bob': 75, 'Tracy': 85}

　　　　　　　 >>> d['Michael']

　　　　　　　95

　　　　　　　>>> d['Thomas']

　　　　　　　Traceback (most recent call last):

　　　　　　　　　File "<stdin>", line 1, in <module>

　　　　　　　KeyError: 'Thomas'

　　要避免key不存在的错误，有两种办法，一是通过in判断key是否存在：

　　　　　　>>> 'Thomas' in d

　　　　　　False

　　二是通过dict提供的get方法，如果key不存在，可以返回None，或者自己指定的value：

　　　　　　>>> d.get('Thomas')

　　　　　　>>> d.get('Thomas', -1)

　　　　　　-1
sort是list的方法，对list进行排序。是对已经存在的list进行操作。也就是对调用sort的list本身进行操作。
```
l = [1, 3, 2]
l.sort()
print(l)
输出：
[1, 2, 3]
```
运行结果：