KNN简介

机器学习流程：

• 获取数据
• 数据基本处理
• 特征工程
• 机器学 习
• 模型评估

K近邻算法

简介： K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。 kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依 据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方 法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

KNN的三个基本要素

• 距离向量
  距离就是特征空间中两个实例点的相似程度的反映。常用的有：欧几里得距离、余弦值（cos）, 相关度 （correlation）, 曼哈顿距离 （Manhattan distance）等。
• k值选择
  即在预测目标点时取几个临近的点来预测。
  K值得选取非常重要，因为k值选择过小容易受到噪声数据的影响，k值过大会产生用较大邻域中的训练实例进行预测，学习的近似误差会增大。
• 分类决策规则
  即由输出实例的k个邻近的训练实例的多数表决输出实例的类。

KNN实现简单的正负数二分类问题

#导入训练模型 from sklearn.neighbors import KNeighborsClassifier #准备数据 x=[[1],[2],[3],[-1],[-3],[-10]] y=[['正数'],['正数'],['正数'],['负数'],['负数'],['负数']] #创建模型 clf = KNeighborsClassifier(n_neighbors=2) #训练模型 clf.fit(x,y) #预测其他值 print(clf.predict([[10]])) print(clf.predict([[-100]]))

预测结果

n_neighbors:

• int类型参数，可选。默认为5。选择

KNN鸢尾花预测

#导入鸢尾花数据集 from sklearn.datasets import load_iris #导入训练模型 from sklearn.neighbors import KNeighborsClassifier #拆分数据集 from sklearn.model_selection import train_test_split #获取数据集 iris=load_iris() #提取数据集数据和特征 data=iris.data target=iris.target #拆分为 训练数据、测试数据、训练特征、测试特征 x_train,x_test,y_train,y_test=train_test_split(data,target,test_size=0.3) #创建模型 clf = KNeighborsClassifier(n_neighbors=6) #训练模型 clf.fit(x_train,y_train) clf.score(x_test,y_test)

测试模型的准确率：

train_test_split:

• 参数列表，传入拆分数据集、拆分特征集
• test_size 拆分多少数据用于测试 0.3:30%数据用于测试

KNN电影类型预测

import math #特征 1.动作镜头 2.拥抱镜头 3.搞笑镜头 4.类型 #训练数据集 mv = { '追龙1':[16,2,0,'动作片'], '人潮汹涌':[8,4,14,'喜剧片'], '飞驰人生':[3,4,16,'喜剧片'], '夏洛特烦恼':[0,4,18,'喜剧片'], '战狼':[18,0,0,'动作片'], '无双':[14,2,2,'动作片'], '大人物':[15,0,3,'动作片'], '从你的全世界路过':[0,7,0,'爱情片'], '再见前任3':[0,13,2,'爱情片'] } #预测影片特征 唐人街探案3 x=[23,3,17] #拆分数据和特征 date=[] target=[] for i in mv: date.append(mv[i][:-1]) target.append(mv[i][-1:]) #创建模型 clf=KNeighborsClassifier(n_neighbors=3) #训练数据 clf.fit(date,target) #获取预测类型并添加到字典中 tp=clf.predict([x])[0] x.append(tp) mv['唐人街探案3']=x mv

预测结果