机器学习实战1.1--KNN分类算法

本文详细介绍了K-近邻算法的基本原理及实现过程。通过计算未知数据与已知数据的距离,选择最近的k个邻居并根据它们的分类来决定未知数据的分类。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

K-近邻算法采用测量不同特征值之间的距离方法进行分类。K-NN算法的工作原理是:

存在一个训练样本集,并且样本集中的每组数据都存在标签,即我们知道样本集中每一组数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。 一般我们选择前k个最相似的数据,最后这k个最相似数据中出现次数最多的分类,作为新数据的分类。

from numpy import *   #导入科学计算包
import operator   #导入运算符模块

def classify0(inX,dataSet,labels,k): #待分类数据inX,训练样本dataSet,标签labels,选择的临近数目k
    dataSetSize=dataSet.shape[0]   #计算训练样本个数

    #使用欧式距离公式,求每个训练样本点与待分类数据点之间的距离
    diffMat=tile(inX,(dataSetSize,1))-dataSet #将inX向量进行相应的变换,使得它与dataSet矩阵为相似矩阵,并进行相应的操作
    sqDiffMat=diffMat**2  #将运算得到的矩阵中的每一项求平方
    sqDistances=sqDiffMat.sum(axis=1)  #axis=1:按行求和
    distances=sqDistances**0.5

    sortedDistIndicies=distances.argsort()   #对距离进行从小到大排序,返回的排序后的索引值
    classCount={}   #定义一个字典用以记录前k个样本中,每个标签所对应训练样本的个数
    for i in range(k):   #遍历这些样本,查看其所对应的标签类型
        voteIlabel=labels[sortedDistIndicies[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
    
    sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)  #按照字典中的第二个值进行降序排列
    return sortedClassCount[0][0]

 

该函数的功能是使用k-近邻算法将每组数据划分到某个类中。

对未知类别属性的数据集中的每个点依次进行一下操作:

(1)计算已知类别数据集中的点与当前点之间的距离;

(2)按照距离递增的顺序进行排序;

(3)选取与当前点距离最近的k个点;

(4)确定前k个点所在类别的出现频率;

(5)返回前k个点出现频率最高的点作为当前点的预测分类。

### 关于头歌平台中KNN算法机器学习教程与实例 #### 头歌平台概述 头歌(Tougo)是一个专注于计算机科学教育的学习平台,提供丰富的在线课程资源和实践环境。对于机器学习领域的内容,尤其是像KNN这样经典的算法,通常会通过理论讲解、代码实现以及实际应用案例相结合的方式进行教学。 #### KNN算法简介 KNN(K-Nearest Neighbors)是一种基于实例的学习方法,既可用于分类也可用于回归分析。其核心思想是:给定一个测试样本,在训练集中找到与其最近的K个邻居,并依据这K个邻居的信息来进行决策[^2]。 #### KNN算法的主要步骤 1. 数据预处理阶段,包括标准化或归一化操作以消除不同特征间量纲差异的影响。 2. 计算待测样本到所有已知样本的距离,常用欧氏距离或其他形式的距离度量方式。 3.距离最小的前K个样本作为近邻点集合。 4. 对于分类任务采用投票机制决定最终类别;而对于回归任务则取平均值或者加权平均值得结果。 #### 距离计算公式示例 以下是两种常见距离公式的Python实现: ```python import numpy as np def euclidean_distance(x, y): """欧几里得距离""" return np.sqrt(np.sum((np.array(x) - np.array(y)) ** 2)) def manhattan_distance(x, y): """曼哈顿距离""" return np.sum(abs(np.array(x) - np.array(y))) ``` 上述函数分别实现了欧氏距离和曼哈顿距离的计算过程。 #### 实际应用场景举例 假设我们有一个简单的电影分类场景,其中每部影片由两个属性描述:“拥抱次数”和“打斗次数”。利用已有标注的数据集可以构建模型并预测未知标签的新样例所属类型[^4]。 #### 可能存在的挑战及优化方向 尽管KNN易于理解和实现,但在大规模数据集上的性能可能较差,因为每次都需要遍历整个数据库寻找最接近的邻居。因此可以通过KD树索引结构加速查询效率,或是引入降维技术减少维度灾难带来的影响[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值