机器学习之KNN算法

KNN,即k-近邻算法。


概念

k近邻是一种监督学习算法,其工作机制简单:给定测试样本,基于某种距离度量找出训练集中与其最靠近的k个训练样本,然后基于这k个“邻居”的信息来进行预测。

通常,分类任务中可使用“投票法”,即选择这k个样本中出现最多的类别标记作为预测结果,在回归任务中可使用“平均法”,即将这k个样本的实值输出标记的平均值作为预测结果,还可基于距离远近进行加权平均或加权投票,距离越近样本权重越大。

 

k近邻分类:一个样本在特征空间中,总会有k个最相似的样本。其中大多数的样本属于某个类别,则该样本也属于某个类别。

一般应用于客户流失预测、欺诈侦测,更适用于稀有事件的分类问题。

计算步骤

1.算距离:给定测试对象,计算它与训练集中每个对象的距离

2.找邻居:圈定距离最近的k个对象,作为测试对象的邻居

3.做分类:根据这k个对象的主要类别,来给测试对象分类

 

k-近邻是一种懒惰学习算法,考试才临阵磨枪,似乎没有显式的训练过程。

模型简单,计算开销大。

 

假设能够恰当的做出k个近邻,我们来对“最近邻分类器”(1NN,即k=1)在二分类问题上的性能做一个简单的讨论。

给定测试样本x,若其最近邻样本为z,则最近邻分类器出错的概率就是xz类别标记不同的概率,即:

                                                            P(err)=1-\sum_{c\epsilon y}P(c\mid x)P(c\mid z)

最近邻分类器虽简单,但它的泛化错误率不超过贝叶斯最优分类器的错误率的两倍。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

### kNN算法概述 kNN算法(K-Nearest Neighbors),也被称为K-最邻近算法,是一种基本的机器学习算法,适用于分类和回归任务。此算法的核心在于利用特征空间中的相似度来决定未知样本所属类别。具体来说,在给定含有已知类别的训练集情况下,对于每一个待预测的新样本,计算它与所有训练样本之间的距离,并选取距离最小的前K个邻居作为参考对象;最终依据这些邻居们的类别标签,采用投票机制或者加权平均的方式得出目标样本应归属于哪一类[^2]。 ### 数据预处理的重要性 在实际操作过程中,准备高质量的数据至关重要。特别是在执行像手写数字识别这样的复杂任务时,不仅需要精心挑选合适的数据源,还需要设计有效的函数把原始图片转化为适合输入模型的形式,从而提高后续运用K近邻算法进行模式匹配的成功概率[^4]。 ### Python实现示例 下面给出一段简单的Python代码片段用来演示如何构建并评估一个基础版本的kNN分类器: ```python from collections import Counter import numpy as np def create_dataset(): group = np.array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) labels = ['A', 'A', 'B', 'B'] return group, labels def classify_knn(inX, dataset, labels, k): dataSetSize = dataset.shape[0] diffMat = np.tile(inX, (dataSetSize, 1)) - dataset sqDiffMat = diffMat ** 2 sqDistances = sqDiffMat.sum(axis=1) distances = sqDistances ** 0.5 sortedDistIndicies = distances.argsort() classCount = {} for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1 sortedClassCount = sorted(classCount.items(), key=lambda item:item[1], reverse=True) return sortedClassCount[0][0] group, labels = create_dataset() test_data_point = [0, 0] predicted_label = classify_knn(test_data_point, group, labels, 3) print(f"The predicted label of {test_data_point} is: {predicted_label}") ``` 上述程序定义了一个小型二维点集合及其对应的类别标记,并实现了`classify_knn()` 函数用于接收新的观测值 `inX`, 训练数据集 `dataset` 及其关联的真实标签 `labels` 和参数 `k`. 此外还展示了怎样调用这个自定义的方法完成一次具体的预测过程[^3]. ### 结果分析 为了验证模型性能的好坏程度,通常会在独立于训练阶段之外的一组测试样例上运行该算法,并统计误判次数占总检验数量的比例即误差率(error rate),以此衡量系统的准确性水平.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值