knn(1)初步了解

简单实现机器学习实战上面的knn代码

knn:适用于分类，通过距离测量，选取离判断点最近的ｋ个点，这ｋ个点中属于类别Ｘ的个数最多，则判断点为类别Ｘ

#######对书上代码进行理解，添加注释
from numpy import *
import operator

#进行数据准备
labels=['A','A','B','B']
dataSet=array([[1.0,1.1],[1.0,1.0],[0.0,0.0],[0.1,0.0]])

inx=[0.0,0.0]
k=3
dataSetSize = dataSet.shape[0]
#inx初始是1行的数组，通过tile函数进行数组广播，把数组变成行数和dataSet行数相等
#对应位置相减之后通过平方测量距离
diffMat = tile(inx,(dataSetSize,1))-dataSet
sqDiffMat = diffMat ** 2 #平方距离
sqDistance = sqDiffMat.sum(axis=1)  #axis=0列　axis=1横
distances = sqDistance ** 0.5  #开根号
sortedDistances = distances.argsort()  #numpy.argsort() 函数返回的是数组值从小到大的索引值。

classCount = {}
#依据排序顺序从近到远依次查看ｋ个样例，记录类别和数量
for i in range (k):
    voteLebel = labels[sortedDistances[i]]
    classCount[voteLebel]=classCount.get(voteLebel,0)+1  #(key,dafault) 如果key不存在，返回默认值
print(classCount)
#对记录类别数量按数量从大到小排序,并且将字典分解为元组列表
#dict.items()返回可遍历的(键, 值) 元组数组。operator.itemgetter(1)代表按照键值对中的值进行排序．reverse=True从大到小排序
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
print(sortedClassCount)
print(sortedClassCount[0][0])

独立实现

from numpy import *
import operator
dataSet=array([[1.0,1.1],[1.0,1.0],[0.0,0.0],[0.0,0.1]])
labels=['A','A','B','B']
k=3
inx=array([1.1,1.1])
dataSetSize=dataSet.shape[0]
d=tile(inx,(dataSetSize,1))-dataSet
d=d**2
distance=sum(d,axis=1)
sqDistance=distance**0.5
sortedDistance=sqDistance.argsort()
print(sortedDistance)
dicts={}
for i in range(k):
    notelabel=labels[sortedDistance[i]]
    dicts[notelabel]=dicts.get(notelabel,0)+1
sortedFinal=sorted(dicts.items(),key=operator.itemgetter(1),reverse=True)
print(sortedFinal[0][0])