机器学习邻近算法（KNN）

机器学习邻近算法（KNN）

临近算法
临近算法（KNN）是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻居来代表，KNN方法既可以做分类，也可以做回归。
*KNN算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。*该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN方法在类别决策时，只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的临近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。
我们可以举例，假如我们想估算A区某间公寓的价格，我们可以在该间公寓附近统计统计其他公寓价格，我们将收集来的公寓数据进行对比，从中选出面积，楼层，格局与目标公寓类似的公寓及其价格，从而对目标公寓的价格进行估算。
KNN算法三要素：K值的选取，距离度量方式和分类决策规则。
如何选择K
1.猜测K：
我们可以根据我们对于问题的了解程度，对K值进行合理地选择，并且可以合理地扩展K值，以获得更平坦的近似。
2.启发式选择K:
（1）：挑选数目互质的类和K值可以保证较少产生平局（互质的数值之间除了1以外没有共同的公约数）。
（2）：选择大于或者等于类数加1的K，假设现在有三个类分别叫合法类，混乱类和中立类。一个好的启发式是选择大于等于3的K值，因为K值小于3的话，将意味着不是每个类都能参与计算。
（3）：选择足够低的K值以避免噪声。