K近邻算法原理及实现（Python）

最新推荐文章于 2025-11-15 08:37:24 发布

原创

最新推荐文章于 2025-11-15 08:37:24 发布 · 1.8w 阅读

CC 4.0 BY-SA版权

文章标签：

本文介绍了K近邻（KNN）算法的基本原理、度量方式、k值选择的影响，以及如何利用kd树提高搜索效率。通过讨论偏差与方差的平衡，解释了k值选择的重要性，并给出了Python实现kd树和KNN搜索的思路。

本文主要来自李航老师的《统计学习方法》。

算法

k近邻是一种常用的分类与回归算法，其原理比较简单：

输入：训练集 $\mathbb{T}=\{(\mathbf{x}_1, y_1), (\mathbf{x}_2, y_2), \dots, (\mathbf{x}_n, y_n)\}$ ; 待分类样本 $\mathbf{x'}$ ；设定好的最近邻个数 $k$
输出： $\mathbf{x'}$ 的类别标签
算法：
1. 搜索训练集训练集 $\mathbb{T}$ ，根据给定的距离度量（如欧式距离），找出与 $\mathbf{x'}$ 距离最近的 $k$ 个点，并把涵盖这些点的领域记为 Nk(x