机器学习----k-近邻算法（KNN）

k-近邻算法概念

简单地说，k-近邻算法采用测量不同特征值之间的距离方法进行分类。

k-近邻算法的优缺点：

优点：精度高、对异常值不敏感、无数据输入假定。

缺点：计算复杂度高、空间复杂度高。

适用范围：数值型和标称型。

 

对于该算法更通俗的说法，拿到一个数据A,计算其与数据集C中的数据的距离，通过使用特征值进行求欧式距离。然后排序取出其前k相邻的数据，前k个出现频率最高的类别即作为该数据的类别。

KNN可以用在区分电影、音乐、手写数字识别等。

下面使用Python可以导入数据

from numpy import *
import operator

def createDataSet():
    # 创建测试使用数据集
    group = array([ [1.0,1.1], [1.0, 1.0], [0,0],[0,0.1] ])
    # 数据集类别
    labels = ['A', 'A', 'B', 'B']
    return group, labels

kNN分类算法

对未知属性的数据集中的每个点依次执行下面的操作：

1. 计算已知类别的数据集中的点与当前点之间的距离；

2.按照距离递增的顺序排序；

3.选取与当前点距离最小的k个点；

4.确定前k个点所在类别的出现概率；

5.返回前k个点出现频率最高的类别作为当前点的预测分类。

 

k-近邻算法实现  参照《机器学习实战》

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]   # 取数据集的行数
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet    # numpy.tile将数据扩展成矩阵 
    # 便于与dataSet直接进行相减  见下面详解-_-
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)  # 在行的方向上计算和

首先进行欧氏距离的计算:    

比如 点(0, 0)与(1, 2)之间的距离计算：

tile: 

numpy.tile([0,1], (3,1))           : 表示 在行方向重复3次，；列方向重复1次。

>>>array([[0, 1],
           [0, 1],
           [0, 1]])

numpy.tile([0,1], (1,3))           : 表示 在行方向重复1次，；列方向重复3次。

>>>array([[0, 1, 0, 1, 0, 1]])

# 接上
    sortedDistIndicies = distances.argsort()           # 按索引进行从小到大排序
    # [12.4, 5.6, 9.8]   索引排序后： [1, 2, 0]  <----->[5.6, 9.8, 12.4]
    classCount = {}    #  记录各个类别出现的频率
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]   #  获取前k个出现的类别
        # sortedDistIndicies = [2, 3, 1, 0]  sortedDistIndicies[0] = [2]
        # labels = ['A', 'A', 'B', 'B'] 
        # labels[sortedDistIndicies[0]]  == labels[2] == 'B'
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
        # 类别计数  看前k个出现频率最高的类别是谁 
        # 需要注意的一点 classCount.get(voteIlabel, 0) 中的0是不可少和更改的 
        # 表示的是 如果该数据不存在 则返回0

以上部分是 选择距离最小的k个点 。

    sortedClassCount = sorted(classCount.iteritems(),
     key = operator.itemgetter(1), reverse=True)
    # dict.iteritems() 生成的一个迭代器 与item有不同
    # operator.itemgetter(1) :获取对象的第1个域的值 
    # reverse=True 表示逆序排列 从大到小 
    return sortedClassCount[0][0]

使用：classify0([0,0], dataSet, labels, 3)              # k = 3

另外需要注意的点：

有些数据的属性值在进行欧氏距离时可能与其他属性值相差过大，这时就需要进行归一化处理。