K-近邻算法

最新推荐文章于 2025-03-24 15:36:07 发布

原创最新推荐文章于 2025-03-24 15:36:07 发布 · 261 阅读

0 ·

CC 4.0 BY-SA版权

机器学习实战专栏收录该内容

1 篇文章

订阅专栏

本文介绍了KNN算法的工作原理，详细解释了如何通过计算距离来为未标记数据分配分类标签。主要内容包括距离计算、数据归一化及分类标签的确定。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

主要工作原理：
在训练集样本中，每个样本都存在标签，即我们知道每个样本每个样本与所属的对应关系。输入没有标签的新数据后，将新数据中的每个特征与样本集中数据所对应的特征进行对比，根据算法提取样本集中特征最相似的分类标签，选择前k个最相似的数据中出现次数最多的分类作为新数据的分类。
KNN核心代码的算法思想
1.计算已知类别和当前点之间的距离（使用欧氏距离）
2.按照距离递增的次序进行排序
3.选取与当前点距离最小的前k个点
4.确定前k个点出现分类的频率
5.返回前k个点出现频率最高的类别作为当前点对应的预测分类。
另外：在计算欧式距离时，为了防止某些特征的数值太大，太过于影响计算距离，需要使用归一化。
具体代码如下：

def autoform(Dataset):
    minVals=Dataset.min(0)
    maxVals=Dataset.max(0)
    ranges=maxVals-minVals
    normDataSet=zeros(shape(Dataset))
    m=Dataset.shape[0]
    normDataSet=Dataset-tile(minVals,(m,1))
    normDataSet=normDataSet/tile(ranges,(m,1))
    return normDataSet,ranges,minVals
def classify0(inX,dataSet,labels,k):
    dataSetSize=dataSet.shape[0]
    diffMat=tile(inX,(dataSetSize,1))-dataSet
    sqDiffmMat=diffMat**2
    sqDistance=sqDiffmMat.sum(axis=1)
    distances=sqDistance**0.5
    sortedDistances=distances.argsort()  
    classCount={}
    for i in range(k):
        voteIlabel=labels[sortedDistances[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
    sortedClassCount=sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]