分类算法——KNN算法（二）

什么是K-近邻算法

1KNN原理
K Nearest Neighbor算法又叫KNN算法，这个算法是机器学习里面一个比较经典的算法，总体来说KNN算法是相对比较容易理解的算法。

• 定义

如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。

来源：KNN算法最早是由Cover和Hart提出的一种分类算法、

• 距离公式
  两个样本的距离可以通讨如下公式计算，又叫欧式距离

距离计算有：曼哈顿距离（绝对值距离）、明可关斯基距离

2电影类型分析

其中 ? 号电影不知道类别，如何去预测：利用K近邻算法

3问题

• 如果取的最近的电影数量不一样，会是什么结果
  • k值取得过小，容易受到异常点的影响
  • k值取得过大，样本不均衡的影响
• 分析K-近邻算法需要做什么样的处理
  • 无量纲化的处理（标准化）

K-近邻算法API

• sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)
  • n_neighbors：int，可选（默认= 5），k_neighbors查询默认使用的邻居数
  • algorithm：{‘auto’，‘ball_tree’,‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’ 将会使用 BallTree，‘kd_tree’ 将使用 KDTree。'auto’将尝试根据传递给 fit 方法的值来决定最合适的算法。

案例:鸢尾花种类预测

流程：
①获取数据
②数据集划分
③特征工程（标准化）
④KNN预估器流程
⑤模型评估

1数据集介绍
lris数据集是常用的分类实验数据集，由Fisher，1936收集整理。lris也称鸢尾花卉数据集，是一类多重变量分析的数据集。关于数据集的具体介绍：

2代码过程

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import kNeighborsClassifier

def knn_iris():
	#1)获取数据
	iris=load_iris()
	
	#2)划分数据集
	x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,random_state=6)
	
	#3)特征工程:标准化
	transfer=StandardScaler()
	x_train=transfer.fit_transform(x_train)
	x_test=transfer.transform(x_test)
	
	#4)KNN算法预估器
	estimator=KNeighborsClassifierl(n_neighbors=3)
	estimator.fit(x_train, y_train)
	
	#5)模型评估
	#方法1:直接比对真实值和预测值
	y_predict=estimator.predict(x_test)
	print("y_predict:\n",y_predict)
	print("直接比对真实值和预测值:\n",y_test==y _predict)
	#方法2:计算准确率
	score=estimator.score(x_test,y_test)
	print("准确率为:\n",score)

	return None

3运行结果

4结果分析

• k值取多大？有什么影响？
  • k值取很小：容易受到异常点的影响
  • k值取很大：受到样本均衡的问题
• 性能问题？
  • 距离计算上面，时间复杂度高

K-近邻总结

• 优点：
  • 简单，易于理解，易于实现，无需训练
• 缺点：
  • 懒惰算法，对测试样本分类时的计算量大，内存开销大
  • 必须指定K值，K值选择不当则分类精度不能保证
• 使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试