学习笔记-Python最近邻算法（KNN）

KNN:
一个样本在特征空间中，总有k个与之最相似（即特征空间中最邻近）的样本。其中，大多数属于某一类别，则该样本也属于这个类别。

计算步骤:
1.算距离:算出测试样本到训练集中每个样本的距离。（例如:欧氏距离）
2.找邻居:找出距离最近的k个训练对象。（k值的选取:交叉验证）
3.做分类:将这k个对象的主要类别作为测试数类别。（少数服从多数/根据距离的远近，距离越近权重越大，权重为距离平方的倒数）

算法流程
1.计算已知类别数据集中的点与当前点之间的距离。
2.按照距离递增次序排序。
3.选取与当前点距离最小的k个点。
4.确定前k个点所在类别对应的出现频率。
5.返回前k个点出现频率最高的类别作为当前点的预测分类。

优点:
1.简单，易于理解，易于实现，无需估计参数，无需训练；
2.适合对稀有事件进行分类；
3.适合于多分类问题。
缺点:
1.计算量大，内存开销大，评分慢；
2.可解释性较差。

行业应用:

1. 客户流失预测
2. 欺诈侦测（更适合于稀有事件的分类问题）

knn算法解决鸢尾花分类问题

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split