【机器学习】-K近邻算法(KNN)

目录

什么是KNN算法

图解KNN基本算法

（1）k近邻算法中k的选取

 （2）距离函数

（3）归一化处理

（4）概率kNN

KNN算法的优缺点

优势

缺点

KNN算法总结

---

什么是KNN算法

        k近邻算法，也称为 KNN 或 k-NN，是一种非参数、有监督的学习分类器，KNN 使用邻近度对单个数据点的分组进行分类或预测。 虽然 k近邻算法 (KNN) 可以用于回归或分类问题，但它通常用作分类算法，假设可以在彼此附近找到相似点。

        回归问题使用与分类问题类似的概念，但在这种情况下，取 k 个最近邻的平均值来对分类进行预测。 这里的主要区别是分类用于离散值，而回归用于连续值。 但是，在进行分类之前，必须定义距离。 最常用的是欧几里得距离，我们将在下面深入研究。
        还值得注意的是，k近邻算法 (KNN) 也是"惰性学习"模型家族的一部分，这意味着它只是存储训练数据集，而不是经历训练阶段。 这也意味着所有计算都发生在进行分类或预测时。 由于 k近邻算法 (KNN) 严重依赖内存来存储其所有训练数据，因此也称为基于实例或基于内存的学习方法。
        Evelyn Fix 和 Joseph Hodges 在 1951 年的这篇 论文 中提出了围绕 k近邻算法 (KNN) 模型的最初想法，而 Thomas Cover 在他的 研究 中扩展了他们的概念：“最近邻模式分类”。 虽然这种算法不再像以前那样受欢迎，但由于其简单性和准确性，仍然是人们在数据科学中学习的首选算法之一。 然而，随着数据集的增长，k近邻算法 (KNN)  变得越来越低效，影响了整体模型的性能。 k近邻算法 (KNN) 通常用于简单的推荐系统、模式识别、数据挖掘、金融市场预测、入侵检测等。 

---

图解KNN基本算法

        假设有三种兔子，第一种兔子叫作绿兔（Green），它们的平均身高是 50厘米，平均体重 5公斤。选取100个样本，分别测量它们的身高和体重，画在坐标图上，用绿色方块表示。

  第二种兔子叫蓝兔（blue），它们体型比较小，平均身高是 30厘米，平均体重是 4公斤。同样，选取100个样本，分别测量它们的身高和体重，并将它们画在同一个坐标图上，用蓝色三角表示。

  最后一种兔子叫黄兔（yellow），它们的平均身高45厘米，但体重较轻，平均只有2.5公斤。100只黄兔的数据用黄色圆圈表示。

  在这些数据中，（身高，体重）的二元组叫做特征（features），兔子的品种则是分类标签（class label）。我们想解决的问题是，给定一个未知分类的新样本的所有特征，通过已知数据来判断它的类别。

  现在假设有一只兔子R，想要确定它属于绿兔、蓝兔和黄兔中的哪一类，应该怎么做呢？按照最普通的直觉，应该在已知数据里找出几个和我们想探究的兔子最相似的几个点，然后看看那些兔子都是什么个情况；如果它们当中大多数都属于某一类别，那么兔子R大概率也就是那个类别了。

  为了确定兔子R属于哪一类，首先测量出其身长为 40 厘米，体重 2.7 公斤，为了直观展示，将其画在上述同一坐标系中，用红色五角星表示。

  现在预设一个整数k，寻找距离兔子R最近的k个数据样本进行分析。kNN 算法如何对这次观测进行分类要取决于k的大小。直觉告诉我们兔子R像是一只黄兔，因为除了最近的蓝色三角外，附近其他都是黄色圆圈。的确ÿ