机器学习之-懒惰学习K近邻（kNN）

于 2024-01-18 14:53:56 发布
阅读量1k 收藏 29
点赞数 32
分类专栏： 机器学习 文章标签： 机器学习 学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lijunhcn/article/details/135674608
版权

1.理解使用KNN进行分类

KNN特点

  • 近邻分类器：一种懒惰学习器，即把未标记的案例归类为与它们最相似的带有标记的案例所在的类。当一个概念很难定义，但你看到它时知道它是什么，就适合用KNN分类。
  • KNN优点：简单有效；数据分布无要求；训练快
  • KNN缺点：不产生模型（发现特征间关系能力有限）；分类慢；内存大；名义变量和缺失值需要处理
  • KNN算法将特征处理为一个多维特征空间内的坐标。如标记配料为水果、蔬菜和蛋白3种类型，每种配料有脆度crunshiness和甜度sweetness 2个维度特征，体现在坐标内就是x轴、y轴。

KNN步骤

1）计算距离

距离函数度量：如欧氏距离（最短的直线距离），曼哈顿距离（类似城市街区路线）。欧氏距离公式：

p,q为比较的案例，n为特征

假设我们已知葡萄、绿豆、坚果、

了解本专栏 订阅专栏 解锁全文 超级会员免费看
机器学习--k-近邻（kNN, k-NearestNeighbor）算法
一个小白
10-01 1693
机器学习--k-近邻（kNN, k-NearestNeighbor）算法 一、算法概述 邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。 Cover和Hart在1968年提出了最初的邻近算法。 KNN是一种分类(classific...
【机器学习】K-近邻算法（KNN）全面解析
最新发布
鑫宝的博客
05-28 6037
K-近邻算法（K-Nearest Neighbors, KNN）是一种基于实例的学习方法，属于监督学习范畴。它的工作原理简单直观：给定一个训练数据集，对新的输入实例，KNN算法通过计算其与训练集中每个实例的距离，找出距离最近的K个邻居，然后根据这些邻居的类别（对于分类任务）或值（对于回归任务）来预测新实例的类别或值。KNN因其简单高效和无需训练过程的特点，在众多领域中得到广泛应用，如模式识别、推荐系统、图像分类等。KNN算法的核心思想是“物以类聚”，即相似的数据应有相似的输出。
一种新型多标记懒惰学习算法
03-19
在多标记学习框架下的一种多标记懒惰学习算法，算法利用了蕴含于其他概念类中的信息，充分考察了样本多个标记之间的相关性
【机器学习】懒惰学习
liuzhicheng1845的博客
12-23 1041
KNN算法 K最邻近法（K- Nearest Neighbor）：如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别 也可用于少数特定的回归问题
机器学习算法--python实现K-近邻——一种懒惰的学习算法
糯米君的博客
11-24 511
机器学习算法（9）python实现K-近邻——一种懒惰的学习算法 KNN是懒惰学习的典型例子。所谓的懒惰，并不是说它看上去很简单，而在于它不是从训练数据中学习判别函数，而是靠记忆训练过的数据集来完成任务。 KNN算法本身相当简单，可以总结为以下的几步： 1.选择k个数和一个距离度量。 2.找到要分类样本的k-近邻。 3.以多数票机制确定分类标签。 import matplotlib.pyplot as plt import numpy as np from matplotlib.colors import
机器学习系列07：一个懒惰的学习算法——kNN
加百力 的技术博客
12-22 1828
然而，不利的一面是，在最坏的情况下，对新样本进行分类的计算复杂性会随着训练数据集中的样本数量而线性增长，除非数据集的维度（特征）非常少，并且算法已使用高效的数据结构（比如 k-d 树，ball tree）实现，以便更有效地查询训练数据。基于实例学习的模型的特点是记忆训练数据集，而懒惰学习是基于实例的学习的一种特例，在学习过程中没有（零）成本。根据我们选择的样本间距度量指标，kNN 算法选择离新的样本最近的 k（下图 k = 5）个样本，然后在这 k 个样本中以多数表决的投票规则确定新样本的类别。
懒惰学习和急切学习
编码人生
09-08 3670
懒惰学习在训练阶段仅仅是把样本保存起来，训练时间开销为零，待收到测试样本后再进行处理。急切学习在训练阶段就对样本进行学习处理的模型
K-近邻算法KNN学习笔记
01-27
K-近邻算法（K-Nearest Neighbor, KNN）是一种基础的机器学习算法，主要用于分类和回归任务。它的核心思想是基于实例的学习，通过在训练数据集中寻找与新样本最为相似的邻居来做出预测。KNN算法由Cover T和Hart P在...
机器学习之k-近邻算法.zip
04-23
《机器学习之k-近邻算法》 k-近邻（K-Nearest Neighbors，简称KNN）算法是监督学习领域中一个基础且重要的算法，尤其在分类问题上表现突出。KNN属于懒惰学习（Lazy Learning）类型，因为它并不进行模型训练，而是将...
机器学习（一）——K-近邻（KNN）算法
weixin_30454481的博客
08-04 441
最近在看《机器学习实战》这本书，因为自己本身很想深入的了解机器学习算法，加之想学python，就在朋友的推荐之下选择了这本书进行学习。 一 . K-近邻算法（KNN）概述 最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一...
懒惰学习-K近邻.zip
09-27
ipynb源文件，KNN(K-Nearest Neighbor)实现对鸢尾花数据集的分类！！
机器学习特征工程与KNN详细探讨
glqzk7879的博客
11-21 1028
机器学习特征工程1.什么是特征工程2.数据归一化2.1 最值归一化的实现2.2 均值方差归一化的实现2.3 Sklearn中的归一化3.KNN算法的优缺点探讨3.1KNN的主要优点:3.2 KNN的主要缺点3.3 KNN优化之KD树3.3.1 KD树的原理3.3.2 Sklearn中KDTree 1.什么是特征工程 特征在机器学习以及数据挖掘的过程中是最为重要的一个指标，在美团机器学习实践中曾探讨...
KNN简介
taptap1的博客
08-25 345
机器学习流程： 获取数据 数据基本处理 特征工程 机器学 习 模型评估 K近邻算法 简介： K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。 kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依 据最邻近的一个或者几个样本的类别来决定待
懒惰学习——使用近邻分类（KNN）
littlely_ll的博客
02-04 5346
KNN算法 优点： 简单有效；对数据的分布没有要求；训练阶段很快。 缺点： 不产生模型，在发现特征之间的关系上的能力有限；分类阶段很慢；需要大量的内存；名义变量（特征）和缺失数据需要额外处理。 之所以被称为懒惰学习算法，是因为从技术上说，没有抽象化的步骤。抽象过程与一般过程都被跳跃过去了。由于高度依赖训练案例，所以懒惰学习又称为机械学习。机械学习不会建立一个模型，所以该方法被归类为非参数学习方法
k邻近法(KNN)
Wisimer
04-25 589
一、前言 k-近邻算法（kNN，k-NearestNeighbor），是一种监督分类算法，是最简单的机器学习分类算法之一。其核心思想在于用距离目标最近的 k 个样本数据的分类来代表目标的分类（这k个样本数据和目标数据最为相似）。kNN 是一种惰性学习方法。 k-近邻算法的缺点是对数据的局部结构非常敏感。 二、算法描述 1. 具体算法过程： （1）. 计算分类未知数据 x_new 与训练样本集数据 ...
十大机器学习算法之KNN（用于信用风险）
一蓑烟雨任平生
09-06 1826
k-Nearest Neighbor(简称KNN)是“懒惰学习”的代表，此类技术在训练阶段仅仅是将训练样本保存起来，不会去构造一个泛化的内部模型，即训练开销为零，带收到测试集时再进行处理，与之对应的是“急切学习”。 算法原理：对给定的测试样本，基于某种距离度量寻找与其相邻最近的k个训练样本，再依据“投票法”（分类）或“平均法”（回归）确定其分类，显然在k取不同值的时候，结果可能是...
数据分类分析-惰性学习法
打工人。。
06-25 1361
急切学习法：指在利用算法进行判断之前,先利用训练集数据通过训练得到一个目标函数,在需要进行判断时利用已经训练好的函数进行决策。 惰性学习法：在最开始的时候不会根据已有的样本创建目标函数,只是简单的把训练用的样本储存好,后期需要对新进入的样本进行判断的时候才开始分析新进入样本与已存在的训练样本之间的关系。典型的惰性学习法是KNN，它不会根据训练集训练一个模型，而是将训练集存储起来，当需要预测的时候，从训练集中找到最相似的样本，把其结果作为预测结果。KNN算法的思想是如果一个样本在特征空间内的K个最相近的样本大
KNN（K-最近邻分类）分类算法
HelloWorld
08-30 4439
惰性学习法（或近邻分类）前面提高的所有分类方法——决策树分类，贝叶斯分类，基于规则的分类，贝叶斯网络分类，神经网络分类，支持向量机分类和使用频繁模式的分类都是急切学习法的例子。 何为急切学习法呢？ 回顾这些分类方法，都是在接受训练元组训练时期就已经构成了分类模型。 而与之对应的惰性学习法则是直到对给定的检验元组分类之前的一刻才构造“分类模型”。 大家要注意到我在这里对“分类模型”打上了引号，
懒惰学习-KNN算法
ncutwjx的博客
01-12 719
懒惰学习-knn
评论 25
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

辣椒种子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值