[机器学习] k近邻算法 (kNN)

kNN算法基本思路

kNN算法通过计算当前测试样本与离它最近的k个点的距离，进行投票，得到它最有可能的分类结果。

特点

首先来看看机器学习算法的基本流程：

由此可见kNN算法的特点：
1. k近邻算法是非常特殊的，可以认为是没有模型的算法。
2. 为了和其他算法统一，可以认为训练数据集就是模型本身。

这也是scikit-learn在封装的时候的思路，来和其他算法统一。由此，每一个算法，都会有fit这个过程。

kNN算法核心

由于kNN算法可以认为数据集就是模型本身，所以fit的过程实际上就是把数据集作为模型的过程，因此这个算法的核心在于predict。
计算距离：

选k个neighbors并投票：