K近邻算法

K近邻算法是一种基于实例的学习方法,通过找到训练数据集中与新实例最近的k个邻居来预测其类别。通常使用欧氏距离作为度量标准,k值的选择对结果有直接影响。kd树作为一种数据结构,能有效加速k近邻搜索过程。除了分类,k近邻算法也可用于回归任务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

给定一个训练数据集,对新的输入实例,在训练数据集中找到跟它最近的k个实例,根据这k个实例的类判断它自己的类(一般采用多数表决的方法)
距离度量: 一般使用欧氏距离,也可以使用其他距离。
k值的选择:k较小,容易被噪声影响,发生过拟合。k较大,较远的训练实例也会对预测起作用,容易发生错误。
分类决策规则:多数表决(应该也可以根据距离使用带权重的表决方式)。
主要问题:如何快速的进行k近邻搜索。

最近邻(1-NN)算法图示:
这里写图片描述

5-NN算法图示:
这里写图片描述

k近邻算法的实现:kd树

T = [[2, 3], [5, 4], [9, 6], [4, 7], [8, 1], [7, 2]]


class node:
    def 
### k近邻算法原理 k近邻算法KNN算法),最初由Thomas等人在1967年提出[^2],核心思想在于通过计算未知样本与其他已知样本之间的距离来判断未知样本的类别。对于给定的一个测试样本 \( X_{test} \),算法会找到训练集中与其最相近的\( k \)个邻居,并根据这些邻居的多数表决结果决定该测试样本所属的类别。 #### 参数说明 - **K**: 表示选取多少个最近邻参与决策过程。通常情况下,\( k \)是一个不超过20的小整数值[^3]。 - **距离度量方法**: 用于衡量两个样本间的相似程度。常见的有欧氏距离、曼哈顿距离等不同方式[^1]。 当确定了合适的\( k \)值之后,在实际操作中还需要考虑如何处理平局情况以及是否采用加权机制等问题。例如,可以通过赋予较近距离更高的权重来进行更精确的选择。 ### 实现步骤 以下是利用Python实现简单的KNN分类器的例子: ```python from collections import Counter import numpy as np def euclidean_distance(x1, x2): """ 计算两点间欧式距离 """ return np.sqrt(np.sum((x1 - x2)**2)) class KNearestNeighbors: def __init__(self, k=3): self.k = k def fit(self, X_train, y_train): self.X_train = X_train self.y_train = y_train def predict(self, X_test): predictions = [] for test_point in X_test: distances = [euclidean_distance(test_point, train_point) for train_point in self.X_train] # 获取最小距离索引列表 nearest_indices = sorted(range(len(distances)), key=lambda i: distances[i])[:self.k] # 统计各类标签数量 labels_count = Counter([self.y_train[index] for index in nearest_indices]) # 添加预测结果到返回数组里 most_common_label = labels_count.most_common(1)[0][0] predictions.append(most_common_label) return predictions ``` 此段代码定义了一个名为`KNearestNeighbors` 的类,实现了基本的功能,包括初始化设置\( k \)值(`__init__`)、拟合模型(`fit`) 和做出预测 (`predict`) 。其中 `euclidean_distance()` 函数用来计算两向量之间欧几里得距离。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值