算法——k-近邻算法

简介：个人学习分享，如有错误，欢迎批评指正。

一、什么是k-近邻算法？

k-近邻算法（k-Nearest Neighbors, k-NN）是一种简单且直观的监督学习算法，常用于分类和回归任务。它不需要显式的训练过程，只需在进行预测时通过比较已知样本的距离来决定结果。
k-NN算法的基本思想是：给定一个待分类样本，找出与其距离最近的k个训练样本（邻居），然后通过这k个邻居的类别来决定待分类样本的类别，即这K个样本的多数属于某个类，就把该输入样本分类到这个类中。（这就类似于现实生活中少数服从多数的思想）。在回归任务中，则通过这k个邻居的值来预测待测样本的值，即通过这k个邻居的目标变量值的平均值来预测待测样本的目标变量值。k-近邻算法三要素：距离度量、k值选择和分类决策规则。

例：

如上图所示，有两类不同的样本数据，分别用蓝色的小正方形和红色的小三角形表示，而图正中间的那个绿色的圆所标示的数据则是待分类的数据。我们的目标是对于这个新的数据点，确定它的类别是什么？
k近邻的思想来给绿色圆点进行分类

• 如果K=3，绿色圆点的最邻近的3个点是2个红色小三角形和1个蓝色小正方形，少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于红色的三角形一类。
• 如果K=5，绿色圆点的最邻近的5个邻居是2个红色三角形和3个蓝色的正方形，还是少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于蓝色的正方形一类。

通过上面的例子，我们知道对于新数据点如何归类，即只要找到离它最近的k个实例，哪个类别最多就是新数据点类别。

二、K-近邻算法流程

1. 选择参数k：选择一个正整数k，表示选择k个邻居。
2. 计算距离：对待预测样本和训练样本中的每一个样本计算距离。常用的距离度量（个人总结版）方法有欧氏距离（Euclidean distance）、曼哈顿距离（Manhattan distance）等。
3. 选择k个最近的邻居：从训练样本中选出与待预测样本距离最近的k个样本。
4. 计算预测值：在分类任务中，通过投票法决定待分类样本的类别，即选择k个邻居中出现最多的类别作为结果。在回归任务中，通过取k个邻居的平均值作为预测结果。

算法1：k近邻法

输入：训练数据集

$$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$$

其中，$x_i\in \mathcal{X}\subseteq {\mathbb{R}}^n$ 为实例的特征向量， y i ∈ Y = { c 1 , c 2 , ⋯   , c K } y_i \in \mathcal{Y} = \{ c_1, c_2, \cdots, c_K \} yi​∈Y={ c1​,c2​,⋯,cK​}为实例的类别，$i=1,2,\cdots ,N$; 实例特征向量$x$;

输出：实例$x$所属的类 $y$。

1. 根据给定的距离度量，在训练集$T$ 中找出与 $x$ 最邻近的 $k$个点，涵盖这 $k$ 个点的 $x$的邻域记作 N k ( x ) N_k(x) N