手写，KNN与k-d树简述

最新推荐文章于 2025-05-08 20:52:45 发布
原创 最新推荐文章于 2025-05-08 20:52:45 发布 · 235 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #算法

博客围绕机器学习和算法展开，但具体内容缺失。机器学习是人工智能重要领域，算法则是实现各种功能的核心逻辑，二者在信息技术中至关重要。

在这里插入图片描述

k-d树 & kNN & ANN 等相关理解
sunfei05的博客
05-29 3591
花了两天时间就看了个k-d树 罪过罪过～不过还是大约总结以下吧起初看k-d树是在看李航的《统计学习方法》中提到的，kNN是个很简单的算法，但k-d树总的来说，稍微有点绕，感觉可能是看到的资料表述的不太清晰，也有可能是本来k-d树就不容易表述。k-d树从根本上来说就是一个多维空间下的二叉查找树，区别于二叉查找树只有1维，k-d树可以有n维，故而k-d树在分叉的时候，需要固定一维，构成一个超平面进行划...
opencv特征匹配中match与KnnMatch返回数据类型
qq_44771627的博客
04-21 1万+
1、match # 初始化 BFMatcher bf = cv.BFMatcher() # 对描述子进行匹配 # des1/des2分别是两幅图片特征点的特征向量 matches = bf.match(des1, des2) # 打印match返回数据的类型 print(type(matches[0])) match匹配的返回结果是DMatch类型。 DMatch数据结构包含三个非常重要的数据分别是queryIdx，trainIdx，di
k-d树及knn
08-02
该算法实现了k-d树的建立，以及k邻域的查找，这是用matlab编写的，可以针对三维点云进行k邻域的查找，可以直接被调用。
k近邻与k-d树
热门推荐
careyee的专栏
06-03 1万+
k近邻 k近邻法（k nearest neighbor algorithm，k-NN）是机器学习中最基本的分类算法，在训练数据集中找到k个最近邻的实例，类别由这k个近邻中占最多的实例的类别来决定，当k=1时，即类别为最近邻的实例的类别。 如上图所示（引自wiki），当k=3时，此时红色的个数为2，则绿色的输入实例的类别为红色的三角形，当k=5时，此时蓝色的个数为3，输入实例的类别为
KNN以及K-D树的基本实现
U201410691的博客
03-12 1076
KNN以及K-D树的基本实现kd树的搜索方式至下而上的搜索至上而下的搜索方式KNN一般算法 kd树的搜索方式 至下而上的搜索 kd树的基本逻辑是，建立k-d树： def findtree(树，当前维度 = 1，点)： if 当前树只有一个节点： return 该节点，搜索路径 if 点[当前维度]<树的当前节点[当前维度]： findtree(树，当前维度>>1，点)...
K近邻法(KNN)与k-Means的区别
weixin_44519124的博客
08-18 1万+
K近邻法(KNN)与k-Means也是用户画像中常用的算法了。 今天小生就来解释下这两者之间的区别。 KNN K-Means 目的是为了确定一个点的分类 目的是为了将一系列点集分成k类 KNN是分类算法 K-Means是聚类算法 监督学习，分类目标事先已知 非监督学习，将相似数据归到一起从而得到分类，没有外部分类 训练...
手写数字的识别问题-SVM、朴素贝叶斯算法、决策树算法、KNN算法对比
秃秃然然的博客
08-03 1万+
目录一、 题目内容和要求： 一、 题目内容和要求： 目的：熟练掌握神经网络模型及其应用。 基本任务：对MNIST手写数据集进行识别，并给出算法精度等指标。 延伸：该问题还可以使用哪些算法进行求解？请实现不同的对比算法，并通过实验结果分析各算法的区别。 ...
KNN(K近邻)算法详解
qq_43664407的博客
05-08 1279
其核心思想是“物以类聚”：通过计算样本间的相似性，找到与目标样本最接近的K个邻居，根据这些邻居的类别或值进行预测。​，而非预先定义的“簇”。在K近邻（KNN）算法中，“邻居”是指与目标样本距离最近的​。K近邻（KNN）是一种简单且直观的​。
基于邻居的学习算法：KNN在scikit-learn中的使用指南
它的基本思想是通过计算待分类样本与已知样本之间的距离，找出最近的K个邻居，然后根据这K个邻居的标签进行决策。 1.2 KNN算法的优缺点 KNN算法具有以下几个优点： - 简单直观，易于实现。 - 不需要进行模型训练，...
机器学习实战——2.k-近邻算法
RF~or的博客
07-18 1496
2.1k-近邻算法概述 k-近邻算法采用测量不同特征值之间的距离进行分类。
基于m折交叉验证实现KNN模型超参数k的优选
默的博客
04-03 1810
首先将数据集划分为训练集和测试集 进一步将训练集划分为验证集和估计集 训练集：用于建立模型，训练模型的拟合能力 测试集：用来检验最终选择最优的模型的性能 验证集：用来确定网络结构或者控制模型复杂程度的参数，即用于参数的优选 1、首先将数据集划分为训练集和测试集 留出法：直接将数据集划分为两个互斥的集合，其中一个作为训练集，另一个作为测试集 train_test_split()函数的参数说明 tra...
knn算法详解
wadfdhsajd的博客
09-15 1007
俗话说：物以类聚，人以群分。看一个人什么样，看他身边的朋友什么样就知道了(这里并没歧视谁，只是大概率是这样)对于判断下图绿色的球是哪种数据类型的方法就是根据寻找他最近的k个数据，根据k的值来推测新数据的类型。比如下图离绿球最近的红三角有两个，蓝方块有一个，因此推测绿色的球为红色的三角，这就是knn算法的思想2.算法原理#2.1通用步骤#2.1.1计算距离#
机器学习算法之KNN算法
Rong_Gong的博客
01-08 1948
本文用来记录机器学习经典算法，所有代码均使用sklearn实现，仅用于自学参考。 一、KNN算法 # -*- coding:utf8 -*- from sklearn import datasets from sklearn.neighbors import KNeighborsClassifier import numpy as np #设置随机种子，不设置的话默认是按系统时间作为参数， #因此每次调用随机模块时产生的随机数都不一样设置后每次产生的一样 np.random.seed(0) #1.导入鸢
python knnmatch_KNN算法——python实现
weixin_39841640的博客
12-09 1238
二、Python实现对于机器学习而已，Python需要额外安装三件宝，分别是Numpy，scipy和Matplotlib。前两者用于数值计算，后者用于画图。安装很简单，直接到各自的官网下载回来安装即可。安装程序会自动搜索我们的python版本和目录，然后安装到python支持的搜索路径下。反正就python和这三个插件都默认安装就没问题了。另外，如果我们需要添加我们的脚本目录进Python的目录(...
knn算法
weixin_46099084的博客
07-21 884
一、KNN算法原理 从训练集合中获取K个离待预测样本距离最近的样本数据； 根据获取得到的K个样本数据来预测当前待预测样本的目标属性值。 简单Demo说明 如上图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？ 若K=3，意思是获取3个离待测样本距离最近的数据来预测当前待预测的目标属性。 当取3个最近邻样本数据时，红色三角形所占比例为2/3，蓝色四方形占比例为1/3因此绿色圆将被赋予红色三角形那个类； 同理，若K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。 由上述Demo
KNN及其改进算法的python实现
李鑫o_O
03-10 6675
一、 马氏距离 我们熟悉的欧氏距离虽然很有用，但也有明显的缺点。它将样品的不同属性（即各指标或各变量）之间的差别等同看待，这一点有时不能满足实际要求。例如，在教育研究中，经常遇到对人的分析和判别，个体的不同属性对于区分个体有着不同的重要性。因此，有时需要采用不同的距离函数。 　　如果用dij表示第i个样品和第j个样品之间的距离，那么对一切i，j和k，dij应该满足如下四个条件：
深度学习第三课KNN
qq_64269930的博客
11-03 333
无
KNN算法学习笔记+应用实例
Miracle Fan的博客
07-30 2436
KNN（K-Nearest-Neighbors）是一种最为简单的分类算法，它的学习过程，区别于一般的监督学习模型，如贝叶斯、神经网络，利用数据集训练模型之后，得到相应模型的参数，然后再利用这些参数去预测相关数据的类型。在KNN中，每次预测数据类型都是计算预测数据与数据集中的相关数据的（也称为距离），然后通过给定的K参数（超参数）去进行相似度筛选，再由，通过K个相似数据的标签信息，去表决该预测数据属于哪一种类型。也正因为如此，KNN不太适合使用在应用上，因为其每次预测都需要大量计算相似度。...
MixMatch文章解读+算法流程+核心代码详解
CCjoffrey的博客
07-31 1万+
MixMatch 本博客仅做算法流程疏导，具体细节请参见原文 原文 查看原文点这里 Github代码 Github代码点这里 解读 MixMatch抓住了半监督算法的两个重要观点：第一是熵最小化；第二是一致性正则化。结合这两个观点的算法就形成了MixMatch。 熵最小化 半监督算法的一个常见假设就是分类的决策边界不应该通过数据分布的高密度区域。这句话简单的理解可以想象一个聚类模型，其决策边界一定是在簇与簇之间的稀疏边界上，不可能穿过一个簇的中心（高密度区域）。而实现这一点的一种方法就是要求分类器对未标记数
k-最近邻 (k-Nearest Neighbors, k-NN)
最新发布
09-07
<think> 我们正在讨论k-最近邻算法（k-NN）。根据用户需求，需要详细描述该算法，同时遵循系统级指令（如数学公式格式、引用标记等）。同时，用户引用的内容中提到了k-NN的基本概念、特点、优缺点以及应用，我们将整合这些信息并扩展。 参考引用内容： [1]：k-NN算法简单直观，无参数，懒惰学习，应用于分类和回归。 [2]：k-NN分类器的理论性质（一致性）以及回归的应用，同时给出了一些术语解释。 [3]：k-NN的计算成本问题（随维度或样本量指数增长），以及优点（实现快、训练时间少、预测准确性高）和一个应用示例（约会对象匹配）。 接下来，我们将按照以下结构组织回答： 1. 算法概述 2. 工作原理（分类和回归） 3. 关键参数与距离度量 4. 优缺点分析 5. 优化方法 6. 应用场景 7. 示例（可选，但引用[3]提到约会对象匹配，可以简述） 8. 相关问题 注意：在适当的地方添加引用标记（如[^1],[^2],[^3]），并使用正确的LaTeX格式。 </think> ### k-最近邻 (k-Nearest Neighbors, k-NN) 算法详解 k-NN 是一种**基于实例的监督学习算法**，通过测量待预测样本与训练集样本的相似度进行分类或回归。其核心思想是：相似样本的特征空间距离相近，因此可通过最近邻的标签预测目标样本的类别或数值[^1][^3]。 --- #### 一、核心原理与数学表示 1. **基本假设** 假设特征空间中相邻样本具有相似属性： $$ P(y=c \mid x) \approx P(y=c \mid x') \quad \text{当} \quad d(x,x') \to 0 $$ 其中 $d(\cdot)$ 为距离度量函数，$c$ 为类别标签[^2]。 2. **决策规则** - **分类任务**：投票机制 $$ \hat{y} = \arg\max_{c} \sum_{x_i \in N_k(x)} \mathbb{I}(y_i = c) $$ 其中 $N_k(x)$ 是 $x$ 的 $k$ 个最近邻集合，$\mathbb{I}$ 为指示函数[^1]。 - **回归任务**：加权平均 $$ \hat{y} = \frac{1}{k} \sum_{x_i \in N_k(x)} y_i \quad \text{或} \quad \hat{y} = \sum_{x_i \in N_k(x)} w_i y_i $$ 权重 $w_i$ 通常与距离成反比（如 $w_i = 1/d(x,x_i)$）[^2]。 --- #### 二、关键组件与参数 1. **距离度量** 常用距离函数（$x, z$ 为 $d$ 维向量）： | 距离类型 | 公式 | |----------|------| | 欧氏距离 | $d(x,z) = \sqrt{\sum_{j=1}^d (x_j - z_j)^2}$ | | 曼哈顿距离 | $d(x,z) = \sum_{j=1}^d |x_j - z_j|$ | | 余弦相似度 | $d(x,z) = 1 - \frac{x \cdot z}{\|x\| \|z\|}$ | 2. **关键参数** - $k$（邻居数）：控制模型复杂度 - 小 $k$：高方差（对噪声敏感） - 大 $k$：高偏差（决策边界平滑） - 距离权重：缓解样本不平衡问题[^3] --- #### 三、算法流程 ```python def kNN_predict(X_train, y_train, x_test, k=5, metric='euclidean'): distances = [] for i, x_train in enumerate(X_train): dist = calculate_distance(x_test, x_train, metric) # 计算距离 distances.append((dist, y_train[i])) sorted_dist = sorted(distances, key=lambda x: x[0]) # 按距离排序 neighbors = sorted_dist[:k] # 选择k个最近邻 if task == 'classification': votes = Counter([label for _, label in neighbors]) return votes.most_common(1)[0][0] # 多数投票 else: return np.mean([label for _, label in neighbors]) # 平均值 ``` --- #### 四、优缺点分析 | **优势** | **局限** | |----------|----------| | ▶ **无显式训练**：惰性学习（lazy learning），无需训练阶段[^1] | ▶ **计算成本高**：预测需计算所有样本距离，复杂度 $O(nd)$（$n$ 样本数，$d$ 维度）[^3] | | ▶ **模型简单直观**：决策过程可解释性强 | ▶ **维度灾难**：高维数据中距离度量失效 | | ▶ **非线性适应**：可拟合复杂决策边界 | ▶ **噪声敏感**：需特征缩放和 $k$ 值调优 | | ▶ **理论保证**：当 $k \to \infty$ 且 $k/n \to 0$ 时具有一致性（consistent）[^2] | ▶ **样本不平衡**：需加权投票或采样 | --- #### 五、优化策略 1. **计算效率优化** - KD树或球树：将搜索复杂度降至 $O(d \log n)$ - 近似最近邻（ANN）：如 Locality-Sensitive Hashing (LSH) 2. **噪声处理** - 距离加权：$w_i = 1/(d(x,x_i)+\epsilon)$ - 编辑训练集：移除边界噪声样本 3. **维度缩减** - PCA 或 t-SNE 降维后再应用 k-NN --- #### 六、应用场景 1. **分类任务** - 手写数字识别（MNIST） - 推荐系统（用户相似度计算） 2. **回归任务** - 房价预测（相似户型均价） - 用户评分预测（协同过滤）[^3] 3. **其他领域** - 生物信息学（基因序列分类） - 异常检测（远离邻居的样本为异常点） > **示例**：约会对象匹配中，用 k-NN 根据特征（年龄、收入、兴趣匹配度）预测用户接受约会的概率[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

万物琴弦光锥之外

给个0.1,恭喜老板发财

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值