机器学习--kNN算法

最新推荐文章于 2025-09-09 08:48:14 发布
原创 最新推荐文章于 2025-09-09 08:48:14 发布 · 551 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #kNN

本文介绍了kNN算法的基本原理及特点，包括kNN算法的应用场景、优缺点、适用的数据类型及距离函数的选择。此外还探讨了如何通过KD树等方法来改进kNN算法的效率。

最近看完了Machine Learning in Action对kNN的介绍，应该说是简单易懂的，在这里记录一些要点。

kNN介绍

参看Wiki

kNN的特点

  • 简单
  • 有监督 分类算法
  • 无须训练
  • 数据需要归一化
  • k最好取奇数，避免平等投票
  • 如果样本和特征多的话，计算量大（导致预测速度慢）
  • 数值和标称都可以用

距离函数

  • 欧氏距离(Euclidean distance)

  • 曼哈顿距离(Manhattan distance)
    两个向量的分量差的绝对值的总和

  • 余弦距离(待研究)

  • 汉明距离(待研究)

改进算法

  • KD树
  • Ball树

实用性

这个算法给我最大的疑惑就是什么地方能派上用场，凭感觉只能用在一些很简单的场景。比如书上有个数字识别的例子，我手写了几个，放进去测试，结果很差。

参考资料

- 从K近邻算法、距离度量谈到KD树、SIFT+BBF算法

VehicleColorID：使用YOLO执行对象分割，并使用颜色直方图和kNN分类器进行颜色识别
02-18
VehicleColorID 使用YOLOv3进行对象分割，并使用颜色直方图和kNN分类器进行颜色识别。 需要图书馆 OpenCV-4.2 枕头-6.1 脾气暴躁-1.18.1 Matplotlib-3.1.3 其他需求 Darknet和YOLOv3 cfg和权重已安装。 按照上的说明安装Darknet。 color_feature_extractor和knn模块需要与VehicleColorID文件放置在同一文件夹中。 这些文件应放置要检测的颜色数据集。 训练数据生成 使用以下命令运行color_feature_extractor.py：python color_feature_extractor.py --path $ COLOR_DATASET_PATH $ 运行分类器 在COCO数据集上预训练的YOLOv3用作对象检测器，基于颜色的kNN分类器可预测检测到的对象的颜色。
机器学习基础-3.线性回归
闲人勿
05-20 2192
一、简单线性回归线性回归模型用来解决回归问题，思想简单，实现容易，是许多强大的非线性模型的基础，结果具有很好的解释性，蕴含机器学习中的很多重要思想。首先从简单线性回归开始，即特征只有1个。以波士顿房价为例。...
机器学习-------KNN分类算法实现玻璃分类
weixin_44602933的博客
04-14 4244
机器学习-------KNN分类算法实现玻璃分类 本博客的实验数据是从uci数据集官网上下载下来的（链接: http://archive.ics.uci.edu/ml/datasets/Glass+Identification.）。 （最近在学机器学习，发现机器学习挺有意思的，就大体记录一下。） 首先，机器学习中数据处理占有十分重要的地位。Glass 数据集一共有214条记录，每条记录有10个特征，分别为：Id,RI,Na,Mg,Al,Si,K,Ca,Ba,Fe。 根据这10个特征属性，最终将玻璃划分为bu
机器学习-KNN算法实现
11-02
在这个"机器学习-KNN算法实现"项目中，你可能使用了PyCharm作为开发环境，这是一个强大的Python IDE，提供了代码编辑、调试、集成测试等众多功能，使得开发过程更为高效。 首先，我们需要了解KNN的基本步骤： 1. *...
机器学习-kNN算法
12-15
kNN，全称为K最近邻（K-Nearest Neighbors），是机器学习领域中最基础且直观的算法之一。它属于监督学习方法，主要用于分类和回归问题。kNN算法基于一个简单的思想：未知类别的样本可以被分类为其最近的k个已知类别...
机器学习--KNN算法.zip
04-08
总的来说，KNN算法是一种基础且实用的机器学习算法，尽管有其局限性，但在很多场景下仍能提供有效的解决方案。在理解和掌握KNN的基础上，可以进一步探索更复杂的算法，如决策树、支持向量机等，以应对更复杂的机器...
头歌实践教学平台数据挖掘机器学习 --- kNN算法答案
gdh1008611的博客
05-08 453
【代码】头歌实践教学平台数据挖掘机器学习 --- kNN算法答案。
机器学习--KNN算法
2201_75357199的博客
06-25 1216
KNN算法中，所选择的邻居都是已经正确分类的对象。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。
使用TensorFlow编写识别数字的CNN训练程序详解
热门推荐
ligang_csdn的博客
01-01 2万+
文本代码基于TensorFlow 0.12.0版本，使用tf.contrib.learn封装的方法来实现CNN。 CNN的结构从网上借用一张图片来表示一下，是一个有2层hidden layer的CNN。MNIST数据的获取以往我们获取MINIST的方式是: from tensorflow.examples.tutorials.mnist import input_data mnist = i
TensorFlow 0.12 Estimators Models Layers学习笔记
ligang_csdn的博客
12-29 5500
TensorFlow在tensorflow.contrib包中有很多封装好的工具，最近在学习中用到了一些模块，在这里做一些笔记。Estimators位于tensorflow.contrib.learn 引用 深度解析TensorFlow组件Estimator：构建自定义Estimator 里面的观点，其作用是： 是TensorFlow训练和评估模块的抽象和基类。它利用graph_actions.p
神经网络的一些笔记
ligang_csdn的博客
01-05 534
为什么ReLU比较好？(https://devblogs.nvidia.com/parallelforall/deep-learning-nutshell-history-training/) 这篇文章有一个解释：Sigmod函数在x比较大的时候，梯度很小，所以收敛很慢，而ReLU在x>0时梯度恒定为1，收敛速度比Sigmod快，所以现在梯度比较大的激活函数比较受欢迎。
机器学习资料收集
ligang_csdn的博客
01-05 481
网上的资料层出不穷，来不及看，先记录一下觉得值得看的：机器之心深度研学社每周干货 2016年第46周 - abc
《微博评论情感分析系统》开发记录 3：机器学习基础
拉里小猪的博客
09-07 1345
掌握机器学习的基础知识，应对当前的项目需求。
生成对抗网络 (GAN)：理解其原理与创作能力
GEO_geo的博客
09-08 445
生成对抗网络(GAN)是一种革命性的深度学习技术，通过生成器和判别器的对抗训练实现逼真数据生成。其核心是博弈论框架下的零和博弈，生成器试图欺骗判别器，而判别器则努力区分真假数据。GAN在图像生成、风格迁移、数据增强等领域展现出强大创作能力，但也面临训练不稳定、模式崩溃等挑战。尽管存在不足，GAN及其变种仍在不断发展，持续推动人工智能创作边界的前沿。
Day 16: GAN生成对抗网络专项 - 从博弈论到艺术创作的完整之旅
weixin_44903776的博客
09-09 20
理论掌握程度检验能够解释GAN的博弈论基础与数学原理理解各类损失函数的设计动机与适用场景掌握训练稳定性问题的根源与解决方案熟悉现代GAN评估指标的计算与解释实践能力验证能够从零实现DCGAN并训练出合理结果理解StyleGAN的风格控制机制与编辑方法掌握CycleGAN的无配对转换原理与实现能够构建完整的GAN应用项目项目开发能力设计并实现人脸生成编辑系统构建艺术风格迁移应用开发图像超分辨率重建工具创建智能数据增强生成器🧠 AI理论深度⬆️⬆️⬆️⬆️⬆️。
机器学习核心知识点目录
最新发布
weixin_41782172的博客
09-09 248
本文系统梳理了机器学习的核心知识体系，涵盖基本概念、模型评估、经典算法和进阶技术。主要内容包括：机器学习概述（定义、流程和应用）；模型评估方法（误差分析、性能度量）；线性模型、决策树、支持向量机等基础算法；集成学习、降维聚类等高级技术；以及特征选择、贝叶斯分类器等重要知识点。该体系既包含监督学习和无监督学习的主要范式，也涉及多分类、类别不平衡等实际问题解决方案，为构建智能系统和数据挖掘提供了完整的理论基础和方法工具。
机器学习(七）决策树-分类
2302_80301538的博客
09-05 903
本文介绍了决策树的基本概念、构建方法及实现工具。决策树由决策节点和叶子节点组成，具有可视化强、解释性好的优点，但易过拟合。文章详细阐述了两种构建方法：基于信息增益（通过信息熵计算属性区分能力）和基于基尼指数（衡量数据集不纯度），并比较了其计算步骤。最后介绍了Scikit-learn中的DecisionTreeClassifier API参数及可视化工具export_graphviz的使用。决策树通过递归选择最优属性划分，逐步降低不纯度，最终形成分类模型。
头歌机器学习 --- kNN算法
04-03
### 关于头歌平台中KNN算法的机器学习教程与实例 #### 头歌平台概述 头歌（Tougo）是一个专注于计算机科学教育的学习平台，提供丰富的在线课程资源和实践环境。对于机器学习领域的内容，尤其是像KNN这样经典的算法，通常会通过理论讲解、代码实现以及实际应用案例相结合的方式进行教学。 #### KNN算法简介 KNN（K-Nearest Neighbors）是一种基于实例的学习方法，既可用于分类也可用于回归分析。其核心思想是：给定一个测试样本，在训练集中找到与其最近的K个邻居，并依据这K个邻居的信息来进行决策[^2]。 #### KNN算法的主要步骤 1. 数据预处理阶段，包括标准化或归一化操作以消除不同特征间量纲差异的影响。 2. 计算待测样本到所有已知样本的距离，常用欧氏距离或其他形式的距离度量方式。 3. 找出距离最小的前K个样本作为近邻点集合。 4. 对于分类任务采用投票机制决定最终类别；而对于回归任务则取平均值或者加权平均值得出结果。 #### 距离计算公式示例 以下是两种常见距离公式的Python实现： ```python import numpy as np def euclidean_distance(x, y): """欧几里得距离""" return np.sqrt(np.sum((np.array(x) - np.array(y)) ** 2)) def manhattan_distance(x, y): """曼哈顿距离""" return np.sum(abs(np.array(x) - np.array(y))) ``` 上述函数分别实现了欧氏距离和曼哈顿距离的计算过程。 #### 实际应用场景举例 假设我们有一个简单的电影分类场景，其中每部影片由两个属性描述：“拥抱次数”和“打斗次数”。利用已有标注的数据集可以构建模型并预测未知标签的新样例所属类型[^4]。 #### 可能存在的挑战及优化方向 尽管KNN易于理解和实现，但在大规模数据集上的性能可能较差，因为每次都需要遍历整个数据库寻找最接近的邻居。因此可以通过KD树索引结构加速查询效率，或是引入降维技术减少维度灾难带来的影响[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值