KNN（K最近邻）分类算法个人总结

最近刚刚开始入门机器学习，打算把学过的东西做一个总结，以便日后的查阅。本人还属于小白阶段，这篇总结难免会出现错误，新手上路，请大佬多多指教。

KNN定义

K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

KNN算法原理

算法简介

用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

下面看一个简单的例子：

如图所示，红色和蓝色是已经确定的两个类，现在要计算黄色的属于哪一类？
根据上面的介绍，当k取3的时候，最接近的三个点中有两个都属于蓝色类，所以我们可以得出，黄色的点属于蓝色的可能性最大。

距离公式

常见的距离公式计算为欧式距离，欧式距离就是计算两点之间的长度，如上面的例子，两点间的距离可以表示成：

$$d=\sqrt{(x_1-y_1{)}^2+(x_2-y_2{)}^2}.$$
扩展到n维向量，距离表示为：
d = ∑ i = 1 N ( x i 1 − y i 1 ) 2