机器学习之KNN

本文介绍KNN算法原理,并通过两种方式实现:一是手动编程计算距离并分类;二是使用sklearn库简化流程。以步行公里数等指标为例,展示如何判断个人喜好程度。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、KNN原理

KNN是机器学习中比较简单的,简单来说就是找到与目标邻近的K个实例,然后分别计算某一分类所占比例,最后找到比例最大的那个类别作为目标分类类别,就与中国的一句古语比较类似:近朱者赤,近墨者黑

二、Python实现过程

因为它的原理比较简单就不过多赘述,因此这里直接讲解如何通过代码进行简单的实现,这里提供两种方法,一种是根据原理直接进行编程实现,另外一种是利用sklearn库实现

实例背景:有三个指标 每年步行公里数, 玩游戏所占时间比例,每周吃甜食数量,用这三个指标判断对一个人的喜欢程度

第一种:

1、对训练数据集进行处理,用矩阵来存储训练数据

原始数据如下:

处理过程如下:def file2matrix(filename):
#打开文件
fr = open(filename)
#读取文件所有内容
arrayOLines = fr.readlines()
#print(arrayOLines)
#得到文件行数
numberOfLines = len(arrayOLines)
#返回的NumPy矩阵,解析完成的数据:numberOfLines行,3列
returnMat = np.zeros((numberOfLines,3))
#返回的分类标签向量
classLabelVector = []
#行的索引值
index = 0
for line in arrayOLines:
#s.strip(rm),当rm空时,默认删除空白符(包括'\n','\r','\t',' ')
line = line.strip()

#使用s.split(str="",num=string,cout(str))将字符串根据'\t'分隔符进行切片。
listFromLine = line.split('\t')
#print(listFromLine)
#将数据前三列提取出来,存放到returnMat的NumPy矩阵中,也就是特征矩阵
returnMat[index,:] = listFromLine[0:3]
print(listFromLine[-1])
#根据文本中标记的喜欢的程度进行分类,1代表不喜欢,2代表魅力一般,3代表极具魅力
if listFromLine[-1] == 'didntLike':
classLabelVector.append(1)
elif listFromLine[-1] == 'smallDoses':
classLabelVector.append(2)
elif listFromLine[-1] == 'largeDoses':
classLabelVector.append(3)
index += 1

return returnMat, classLabelVector

2、分类过程

首先计算目标点到实例点之间的距离,这里计算距离的方法有多种,一般用欧式距离

然后对距离进行排序,选择距离最近的前k个

最后,对前k个数据,计算每一类别所占的比例,选择最大的那个就是我们的分类结果

上代码:

def classify0(inX, dataSet, labels, k):
#numpy函数shape[0]返回dataSet的行数
dataSetSize = dataSet.shape[0]
#在列向量方向上重复inX共1次(横向),行向量方向上重复inX共dataSetSize次(纵向)
diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
#二维特征相减后平方
sqDiffMat = diffMat**2
#sum()所有元素相加,sum(0)列相加,sum(1)行相加
sqDistances = sqDiffMat.sum(axis=1)
#开方,计算出距离
distances = sqDistances**0.5
#返回distances中元素从小到大排序后的索引值
sortedDistIndices = distances.argsort()
#定一个记录类别次数的字典
classCount = {}
for i in range(k):
#取出前k个元素的类别
voteIlabel = labels[sortedDistIndices[i]]
#dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
#计算类别次数
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
#python3中用items()替换python2中的iteritems()
#key=operator.itemgetter(1)根据字典的值进行排序
#key=operator.itemgetter(0)根据字典的键进行排序
#reverse降序排序字典
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
print(sortedClassCount)
#返回次数最多的类别,即所要分类的类别

return sortedClassCount[0][0]

在分类之前我们需要对数据进行归一化处理,因为实际数据是比较大的,如果直接采用原数据就是使得数据值大的占的权重大,这样会影响分类结果,因此将数据范围归到0至1之间再做后续分类

第二种:sklearn

加入from sklearn.neighbors import KNeighborsClassifier as kNN

关键代码

neigh=kNN(n_neighbors=3,algorithm='auto')

neigh.fit(normMat[numTestVecs:m,:],classLabelVector[numTestVecs:m])
print(normMat[i,:])
vectorUnderTest =img2vector(normMat[i,:])
print(vectorUnderTest)

classifierResult=neigh.predict(vectorUnderTest)

这里解释一下,normMat[numTestVecs:m,:]为训练数据特征,classLabelVector[numTestVecs:m]为训练数据特征值对应的分类,函数img2vector()为对矩阵做向量处理

这样对比一看,是不是感觉sklearn很强大?就那么几行代码就解决了,虽然它很好用,但是原理我们得搞清楚了,遇到具体问题才能根据需求去解决呢

输出结果如图:

### kNN算法概述 kNN算法(K-Nearest Neighbors),也被称为K-最邻近算法,是一种基本的机器学习算法,适用于分类和回归任务。此算法的核心在于利用特征空间中的相似度来决定未知样本所属类别。具体来说,在给定含有已知类别的训练集情况下,对于每一个待预测的新样本,计算它与所有训练样本之间的距离,并选取距离最小的前K个邻居作为参考对象;最终依据这些邻居们的类别标签,采用投票机制或者加权平均的方式得出目标样本应归属于哪一类[^2]。 ### 数据预处理的重要性 在实际操作过程中,准备高质量的数据至关重要。特别是在执行像手写数字识别这样的复杂任务时,不仅需要精心挑选合适的数据源,还需要设计有效的函数把原始图片转化为适合输入模型的形式,从而提高后续运用K近邻算法进行模式匹配的成功概率[^4]。 ### Python实现示例 下面给出一段简单的Python代码片段用来演示如何构建并评估一个基础版本的kNN分类器: ```python from collections import Counter import numpy as np def create_dataset(): group = np.array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) labels = ['A', 'A', 'B', 'B'] return group, labels def classify_knn(inX, dataset, labels, k): dataSetSize = dataset.shape[0] diffMat = np.tile(inX, (dataSetSize, 1)) - dataset sqDiffMat = diffMat ** 2 sqDistances = sqDiffMat.sum(axis=1) distances = sqDistances ** 0.5 sortedDistIndicies = distances.argsort() classCount = {} for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1 sortedClassCount = sorted(classCount.items(), key=lambda item:item[1], reverse=True) return sortedClassCount[0][0] group, labels = create_dataset() test_data_point = [0, 0] predicted_label = classify_knn(test_data_point, group, labels, 3) print(f"The predicted label of {test_data_point} is: {predicted_label}") ``` 上述程序定义了一个小型二维点集合及其对应的类别标记,并实现了`classify_knn()` 函数用于接收新的观测值 `inX`, 训练数据集 `dataset` 及其关联的真实标签 `labels` 和参数 `k`. 此外还展示了怎样调用这个自定义的方法完成一次具体的预测过程[^3]. ### 结果分析 为了验证模型性能的好坏程度,通常会在独立于训练阶段之外的一组测试样例上运行该算法,并统计误判次数占总检验数量的比例即误差率(error rate),以此衡量系统的准确性水平.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值