KNN浅析

k-近邻算法

1.1算法原理及步骤

为了判断未知实例的标签，以所有已知标签的实例为参照，选择参数k（多为奇数），计算未知实例与所有已知实例的距离，选择最近k个已知空间，少数服从多数的投票法则，让未知实例归类为k个最邻近样本中最多数的标签。

1.2优缺点

优点：精度高、对异常值不敏感，无输入数据假定、通过对K的选择可具备噪音数据的健壮性；缺点：计算复杂度高、空间复杂度高（需要大量空间存储所有已知实例）、样本分布不均衡时，比如其中一类样本过大（数量占主导），新的未知实例容易被归类为这个主导样本，但这个新的未知实例未必接近目标样本。特性：KNN无训练数据集的过程，懒惰算法。

1.3python实现

注：labels标签向量的元素数目和矩阵dataset的行数相同

import operator

import numpy as np

#构造数据集以及标签{A,B}两类

def createDataset() :

    group = np.array([[1.0,1.1 ],[1.0, 1.0],[0 , 0],[0 ,0.1]])

    labels = ['A','A','B','B']

    return  group,labels

 

group ,labels = createDataset()

#print(group.shape)

#print(labels)

def  classfyknn(inx, dataset, k) :

    datasetsize =dataset.shape[0]   #hang shu

    diffmat =np.tile (inx , ( datasetsize,1))  -dataset     # compute  xi- yi

    sqdiffmat =diffmat ** 2

    sqdistance = sqdiffmat.sum( axis = 1)

    distances = sqdistance ** 0.5

    sortedindex=distances.argsort()

    classcount = {}

    for i in range(k)  :

        votelabel = labels[sortedindex[i]]

        #print(classcount.get(votelabel ,0))

        classcount[votelabel] = classcount.get(votelabel ,0) +1  #修改default值none=0 方便数值计算

        #print(classcount)

    

    sortedclasscount =sorted( classcount.items() ,key =operator.itemgetter(1) ,reverse = True)   #按votes sort

    #print(sortedclasscount)

    return  sortedclasscount[0][0]

a=classfyknn([0,0.2], group , 3)

        

print(a)    ------------#返回类别标签B