【机器学习】常用算法系列之——分类算法KNN

背景

监督学习中数据是有标签的,比较入门。而在监督学习中,有分类和回归两个任务。其中分类又是比较简单的,那我们从分类入手,介绍第一个基础分类算法——KNN。

简介

KNN,全称K-NearestNeighbor,也叫K近邻。是监督学习中的一种基础的常用分类算法。
所谓K近邻,即选取k个最近的邻居,来代表每个样本。



说起来比较抽象,我们从图上来看一下。

已分类数据:
图中有两个类别:红色的三角形和蓝色的正方形。他们的样本数据散落在图中。
待分类数据:
绿色圆圈,上面打着问号,也就是我们要将他分到两个类别中。

好了,那么我们现在要看绿色的圆圈到底分到哪个类别中。

首先解决k=?

在这里插入图片描述
1.当k=3时,即图中边框为实线的圈中。包含了两个三角形和一个正方形,所以此时绿色圆圈属于三角形的分类。
2.当k=5时,即图中边框为虚线的圈中,包含了两个三角形和三个正方形,绿色圆圈属于正方形的分类。(对!就是这么简单粗暴)

由上可见:
1.待分类元素的k个最近邻居不包含其本身。

2.k近邻算法中,k最好不要选择偶数,以免出现邻居中类别个数相同的情况。

3.k的选取十分关键,他几乎主导着最终的分类结果。

其中,上面所说的“距离”,在KNN中常见的表现方式有:欧式距离、曼哈顿距离。

1.欧式距离
最常用、最简单。(数学符号不好打,偷个懒,贴图了)
在这里插入图片描述

2.曼哈顿距离

也叫城市街区距离,即|x1-

### KNN算法机器学习中的实现与应用 #### 一、KNN算法简介 K近邻(K-Nearest Neighbor, KNN)是一种基本分类与回归方法。该算法的核心思想在于通过计算待测样本与训练集中各个样本的距离,选取距离最小的前K个邻居,并依据这些邻居的信息来进行决策。对于分类问题而言,则是根据多数表决原则决定新实例所属类别;而对于回归问题来说,则通常采用这K个最接近的数据点的目标属性平均值作为预测结果。 #### 二、R语言下的具体实践案例 针对鸢尾花数据集的应用展示了如何利用基础函数完成整个流程而无需依赖额外包的支持[^2]。在这个例子中,通过对不同特征维度间欧氏距离或其他度量方式的选择实现了对未知样本的有效识别。这种做法不仅有助于理解原理本身,同时也锻炼了编程技巧以及解决实际问题的能力。 ```r # 加载必要的库并读入数据 library(ggplot2) data(iris) head(iris) # 数据预处理... set.seed(1234) trainIndex <- sample(seq_len(nrow(iris)), size = floor(.7 * nrow(iris))) trainingData <- iris[trainIndex, ] testingData <- iris[-trainIndex, ] # 定义knn函数用于后续调用 knnPredict <- function(trainSet, testInstance, labels, k){ distances <- sqrt(rowSums((t(t(trainSet[,1:4]) - as.numeric(testInstance)))^2)) sortedDistIndices <- order(distances)[1:k] classCounts <- table(labels[sortedDistIndices]) return(names(which.max(classCounts))) } predictions <- sapply(as.matrix(testingData[,1:4]), knnPredict, trainSet=as.matrix(trainingData[,1:4]), labels=trainingData$Species,k=3L) confusionMatrix <- table(predictions,factor(testingData$Species)) print(confusionMatrix) ``` 上述代码片段演示了一个完整的基于自定义逻辑而非第三方工具包构建KNN模型的过程,包括但不限于数据分割、相似性测量及最终评估等方面的工作。 #### 三、应用场景探讨 尽管存在诸如计算复杂度较高等局限之处,但在某些特定条件下依然能够展现出独特价值: - **低维空间**:当输入变量数量较少时,性能表现良好; - **多模态分布**:可以很好地适应具有多个峰值的概率密度函数所描述的现象; - **快速原型开发**:由于易于理解和编码特性,在初期探索阶段可作为一种高效手段迅速验证想法可行性[^3]。 综上所述,虽然与其他更先进的技术相比可能显得不够先进,但凭借其实现简便性和灵活性依旧占据着不可替代的地位。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值