K-近邻算法分类与回归

最新推荐文章于 2024-10-09 19:49:29 发布

luckyflyyy

最新推荐文章于 2024-10-09 19:49:29 发布

阅读量2.7k

点赞数 4

CC 4.0 BY-SA版权

文章标签： k近邻算法分类

本文链接：https://blog.youkuaiyun.com/luckyflyyy/article/details/89463692

本文介绍了K-近邻算法（KNN）的基础知识，包括其在分类和回归任务中的使用。KNN方法依赖于度量空间中的最近邻原则，通过选择k个最近的训练实例进行决策。在二元分类问题中，KNN通过计算测试实例与所有训练实例的距离来预测其标签。例如，在身高体重的数据集中，通过设定k值并计算距离，可以预测出一个新样本的性别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

k-近邻算法（KNN）

KNN一种可以用于分类和回归任务的算法，KNN隐藏着强大的功能和高可用性，该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

k-近邻模型

度量空间是定义了集合中所有成员之间距离的特征空间。超参k用来指定估计过程应该包含多少个邻居。超参是用来控制算法如何学习的参数，它不通过训练数据来估计，一般需要人为指定，最后通过某种距离函数，从度量空间选出k个距离测试实例最近邻居。

二元分类

表一9个实例

#In[1]
import numpy as np
import matplotlib.pyplot as plt
X_train=np.array([
    [158,64],
    [170,86],
    [183,84],
    [191,80],
    [155,49],
    [163,59],
    [180,67],
    [158,54],
    [170,67]
])
y_train=['male','male','male','male','female','female','female','female','female']
plt.figure()
plt.title('Human Heights and Weights by Sex')
plt.xlabel('Height in cm')
plt.ylabel('Weight in kg')
for i,x in enumerate(X_train):
#使用'x'标记训练实例中的男性，使用菱形标记表示训练实例中的女性
 plt.scatter(x[0],x[1],c='k',marker='x' if y_train[i]=='male' else 'D')
plt