K-Nearest Neighbor(KNN) 最邻近分类算法及Python实现方式

K-Nearest Neighbor 最邻近分类算法：

简称KNN，最简单的机器学习算法之一，核心思想俗称“随大流”。是一种分类算法，基于实例的学习（instance-based learning）和懒惰学习（lazy learning）。

懒惰学习：指的是 在训练是仅仅是保存样本集的信息，直到测试样本到达是才进行分类决策。

核心想法：

在距离空间里，如果一个样本的最接近的k个邻居里，绝大多数属于某个类别，则该样本也属于这个类别。

范例：

假设，我们有这样一组电影数据：

由数据可以看出，我们有上述6部电影的数据及分类，最后一部“未知”的是需要预测处于哪个分类中。

然后，我们将数据中的“打斗次数”属性标记为X，“接吻次数”标记为Y，这样上述数据都能化为坐标轴中的一点：