机器学习（一）k-进邻算法

最新推荐文章于 2023-10-09 21:55:53 发布

原创

最新推荐文章于 2023-10-09 21:55:53 发布 · 556 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#k-进邻算法 #k-进邻算法通俗易懂 #k-进邻算法python代码

k-近邻算法是一种基于实例的学习，通过计算新数据点与训练集中已有数据点的距离，选取最近的k个点，根据这k个点的类别出现频率来决定新数据点的分类。在实际应用中需要注意数据归一化以避免特征尺度不一导致的影响，以及合理选择k值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

k-进邻算法

概述

原理

存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

步骤

计算已知类别数据集中的点与当前点之间的距离；
按照距离递增次序排序；
选取与当前点距离最小的k个点；
确定前k个点所在类别的出现频率；
返回前k个点所出现频率最高的类别作为当前点的预测分类。

相关公式（欧氏距离）

核心代码如下

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)