机器学习（一）---k-近邻算法

最新推荐文章于 2022-12-23 22:08:05 发布

原创

最新推荐文章于 2022-12-23 22:08:05 发布 · 545 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#KNN

K-近邻算法是一种基于距离度量的分类方法，通过找到新数据点最近的k个训练样本，利用多数表决确定新数据的分类。算法的三要素包括k值选择、距离度量和分类决策规则。k值大小直接影响算法的估计误差和近似误差，通常采用交叉验证选择最优k值。KNN算法适用于数值型和标称型数据，但存在计算和空间复杂度高的缺点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

K-近邻算法简要

简单来说，k-近邻算法采用测量不同特征值之间的距离方法进行分类。（即近朱者赤，近墨者黑）

k-近邻算法原理
k-近邻算法的三要素
k-近邻算法的基本流程
k-近邻算法优缺点
k-近邻算法的适用数据范围

k-近邻算法原理

存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的进行比较，然后算法提取样本集中最相似数据（最近邻）的分类标签。一般来说，只选择样本数据集中前k个最相似的数据，通常k值是不大于20的整数。最后选择k个最相似数据中出现次数最多的分类（物以类聚，人以群分），作为新数据的分类。

k-近邻算法的三要素

k值的选择，距离度量和分类决策规是该算法的三个基本要素

K 值的选择会对算法的结果产生重大影响。K值较小意味着只有与输入实例较近的训练实例才会对预测结果起作用，但容易发生过拟合;如果 K 值较大，优点是可以减少学习的估计误差，但缺点是学习的近似误差增大，这时与输入实例较远的训练实例也会对预测起作用，使预测发生错误。在实际应用中，K 值一般选择一个较小的数值，通常采用交叉验证的方法来选择最优的 K 值。随着训练实例数目趋向于无穷和 K=1 时，误差率不会超过贝叶斯误差率的2倍，如果K也趋向于无穷，则误差率趋向于贝叶斯误差率。（

该算法中的分类决策规则往往是多数表决，即由输入实例的 K 个最临近的训练实例中的多数类决定输入实例的类别

距离度量一般采用 Lp 距离，当p=2时，即为欧氏距离，在度量之前，应该将每个属性的值规范化，