【机器学习】k最近邻分类

📝本文介绍
本文为作者阅读鸢尾花书籍以及一些其他资料的k最近邻分类后，所作笔记

👋作者简介：一个正在积极探索的本科生
📱联系方式：943641266(QQ)
🚪Github地址：https://github.com/sankexilianhua
🔑Gitee地址：https://gitee.com/Java_Ryson
由于本人的知识所限，如果文章有问题，欢迎大家联系并指出，博主会在第一时间修正。

📕1. 原理

K 最近邻 (KNN) 算法是一种非参数化的监督学习分类器，它利用邻近度来对单个数据点的分组进行分类或预测。 它是当今机器学习中使用的最广泛且最简便的分类与回归分类器之一。 k近邻算法，也称为 KNN 或 k-NN，是一种非参数、有监督的学习分类器，KNN 使用邻近度对单个数据点的分组进行分类或预测。
优点：

• 简单
• 不需要训练过程
• 对非线性分类问题表现良好

缺点：

• 需要大量存储训练集
• 预测速度较慢
• 对高维数据容易出现维数灾难

核心思想：小范围投票，少数服从多数

📘2. 流程

给定样本数据X（$x^{(1)},x^{(2)},x^{(3)},...$，分别对应已知标签$y^{(1)},y^{(2)},y^{(3)},...$.查询点q标签未知，待预测分类。

• 计算样本数据X任意一点x和查询点q的距离
• 找X中距离查询点q最近的k个样本，即k个”近邻“
• 根据k个邻居已知标签，直接投票或加权投票；k个邻居出现数量最多的标签即为查询点q预测分类结果

📙3. 分类

📖3.1 二分类

有一组数据集两个特征（ x 1 ， x 2 x_1，x_2