机器学习——k近邻算法（kNN）

一、k-近邻算法介绍

1、概念

K-Nearest Neighbor算法又叫KNN算法，属于监督学习算法的一种，是机器学习里的一个经典算法。简单地说，k-近邻算法是采用测量不同特征值之间的距离方法进行分类。

2、工作原理

存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据吼，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

简单地说就是，预测样本与特征空间中的k个样本最相似（距离最近），预测样本属于这k个样本中的最多类别。

例：电影分类问题

电影名称	类别	与未知电影的距离
《交作业》	恐怖片	1.22
《2022》	剧情片	6.78
《机器学习》	恐怖片	11.26
《李白》	剧情片	42.6
《福建》	剧情片	82.65
《一棵树》	剧情片	73.99
《镜子》	恐怖片	23.87
《水龙头》	剧情片	112.39
《未知电影》	？

取k为3，可得三个距离未知电影最近的电影依次是：《交作业》、《2022》、《机器学习》。三部电影中，有一部电影属于剧情片，有两部电影属于恐怖片，样本类别最多的为恐怖片，因此判断未知电影属于恐怖片。

3、优缺点

• 优点：精度高、对异常值不敏感、无数据输入假定。
• 缺点：计算复杂度高、空间复杂度高
• 适用数据范围：数值型和标称型

4、一般流程

1. 收集数据：可以使用任何方法。
2. 准备数据：距离计算所需要的数值，最好是结构化的数据格式。
3. 分析数据：可以使用任何方法。
4. 训练算法：k-近邻算法不需要。
5. 测试算法：计算错误率。
6. 使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

5、实现流程

1. 选好k值
2. 分别计算特征空间中的点与待测点之间的距离，使用欧式距离公式：
3. 按距离递增次序排序
4. 选取与当前点距离最小的k个点
5. 统计k个点所在类别出现的频率
6. 频率最高的类别即为待测点的预测分类

6、k值大小的影响

• k值过大：预测标签比较稳定，但可能过于平滑（例如：样本集中一共有100个样本，k值选择100，那么不管是哪个预测标签结果都是一样的）
• k值过小：预测标签容易受到样本影响

7、要求

1.近邻点要有相同相近的类别。
2.特征维度的尺度（范围）要具备一致性。

二、代码实现`

1、先导入模块和数据

from numpy import *