K近临算法（KNN）

最新推荐文章于 2024-06-12 10:45:00 发布
最新推荐文章于 2024-06-12 10:45:00 发布
阅读量2.5k 收藏 7
点赞数
CC 4.0 BY-SA版权
分类专栏： 分类算法 文章标签： 算法 KNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nealgavin/article/details/50790075

什么是K近临算法

K近临算法是基于实例的学习算法，俗称KNN

什么是基于实例

基于实例的学习算法只是简单的把样例存储起来。把这些实例中泛化的工作推迟到必须分类的时候。每当学习器遇到一个新的实例时，它将实时分析这个实例与以前存储的实例的关系，并据此把一个目标函数值赋到新的实例。

K近临原理介绍

k近临的思路是找K个与目标最相似的样本，认为目标就属于K个样本中最多频次的类别。
分类
对未知类别属性数据中每个点的分类过程：
1. 计算未知点到训练数据点的距离
2. 对这些训练数据点递增排序
3. 选K个最近的点
4. 确定K个点所在类别的频率
5. 返回K个点出现频率最高的类别作为未知点类别
其中的距离计算一般为欧式距离，或者城市距离（具体依实际情况定）

K近临
如上图所示，如果K=3就是实线所圈的点，那么未知点就会被分成红色三角形的类别上。如果K=5那就是虚线所圈的点，未知点就会被分成蓝色四方块的类别上。

回归
1. 计算未知点到训练数据点的距离
2. 对这些训练数据点递增排序
3. 选K个最近的点
4. 将K个最近点的属性均值赋值给目标点（得到目标点的属性）
当然取均值只是一种方法，还可以按样本点与目标点的距离进行加权等方法进行属性值赋值。

K近临的优缺点

优点

  1. 抗噪声能力强：K近临只选最近的K个点，因些一些离群点完全不影响算法的处理效果。
  2. 模型简单，分类效果相当不错。kaggle的手势识别，朴素的算法就能达到96.5%的准确率
  3. 由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方 法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。

缺点

  1. 维度灾难：k-近邻算法在计算距离的时候，考虑实例的所有属性。可能分类仅由某几个属性决定，这中情况下属性的相似性度量会误导k-近邻算法的分类。

    解决办法：（1）属性加权；（2）剔除不相关的属性。

  2. 效率超慢：对于每个目标点都需要计算它到所有样本点的距离
    当样本维度为 N 特征维度为 D ,那么复杂度就是呈 O(ND

最低0.47元/天 解锁文章
算法——k-近邻算法
m0_66890670的博客
08-11 3955
对k-近邻算法的详细学习，包括k-近邻算法流程，k值选取，kd树，k-近邻算法的python代码，k-近邻算法的优缺点总结。
K-近邻算法（KNN）
最新发布
2401_84149564的博客
05-14 1161
KNN（K-Nearest Neighbor）算法是一种简单直观的机器学习方法，由Cover和Hart于1968年提出。其核心思想是通过计算样本在特征空间中与K个最近邻样本的距离，根据这些邻居的类别决定该样本的类别。KNN适用于分类和回归任务，分类时采用多数表决，回归时采用加权平均。文章还详细介绍了KNN在图像分类和色彩风格迁移中的应用，并通过Python代码展示了具体实现过程。尽管KNN在处理大规模数据时存在效率问题，但其简洁性使其成为机器学习入门的重要算法之一。
机器学习 - K近临法（KNN）
翼遥君的博客
08-05 1719
博客内容源于《统计机器学习》一书的阅读笔记。Python的源码实现源于《机器学习实战》部分内容。 1. K近临算法【算法描述】给定一个训练数据集，对于新的输入实例，在训练数据集中找到与该实例最近临的K个实例，这个k个实例的多数属于某个类，就把该输入实例分为这个类。【数学描述】 输入：训练数据集 T={(x1,y1),(x2,y2),...,(xN,yN)} T=\{(x_{1},y_{1}),(
k-近临算法及分析
weixin_44922452的博客
05-30 366
示例程序 程序借鉴机器学习 注：ython3中无iteritems,改用items shape函数的用法及示范 tile的用法 axis=0计算第一列的和，axis=1计算第一行的和 argsort与sorted reshape生产矩阵，zeros生成零矩阵，ones生成1矩阵，identity生成单位矩阵，diag生成对角矩阵 ...
K近似算法
多喝i热水的博客
07-16 676
刚开始学习机器学习的理论知识。相关的项目源码，随后会在脑图后补充
机器学习第一周--K邻近算法，决策树
蜂鸟的学习笔记
11-12 1408
机器学习第一周 参考链接 https://github.com/wenjunjiecn/Coursera-ML-AndrewNg-Notes/blob/master/markdown/week1.md https://github.com/apachecn/AiLearning/blob/master/docs/ml https://space.bilibili.com/97678687/chan...
6-机器学习之KNN（K-近临算法）
12-21
K-近邻（K-Nearest Neighbors，简称KNN）算法是一种基于实例的学习，也是非参数监督学习方法。在KNN中，我们不需要预先定义任何模型，而是直接利用已知类别的样本数据（训练集）来对未知类别的样本进行分类。KNN的...
【近邻算法】近邻算法详解——深入理解K-近邻(KNN)
weixin_43298211的博客
06-12 1000
K-近邻算法以其简单有效著称，尽管存在计算效率和内存占用等问题，但通过合理的参数选择和算法优化，仍然能在众多实际问题中发挥重要作用。理解其背后的原理及其局限性，是进一步探索高级机器学习技术的基础。
人工智能 - K近邻分类算法的Java实现
天天向上
06-03 543
文章目录KNN简介特点K值选择实验要求实现伪代码Java代码运行结果 KNN 简介 KNN的全称是K Nearest Neighbors。K个最近邻居，K的取值肯定是至关重要的。 KNN的原理就是当预测一个新的值x的时候，根据它距离最近的K个点是什么类别来判断x属于哪个类别。 举个例子： 如果K=3，绿色圆将被分类为红色三角形。 如果K=5，绿色圆被分类为蓝色四方形类。 距离计算方程： 特点 KNN是一种非参的，惰性的算法模型。 非参： 这个模型不会对数据做出任何的假设，也就是说KNN建立的模型结构是根
数据挖掘-k近邻算法的R实现
qq_46118322的博客
06-21 1442
一、代码实现（R语言） 1.编写函数使用k近邻算法计算预测值 myknn
k-近临算法及代码实现
所有的今天都是为了不后悔的明天
05-21 1071
K-最近邻分类（惰性学习法），即KNN。 惰性学习法在提供训练元组时只做少量工作，而在进行分类或数值预测时做更多的工作。惰性学习法不提供多少解释或对数据结构的洞察。但是，惰性学习法天生地支持增量学习。惰性学习法的计算开销可能相当大。 “近邻性”用距离度量，如欧式距离。 在算式之前，需要把每个属性的值规范化，这有助于防止具有较大初始值域的属性（如收入）比具有较小初始值域的属性（
对室内的行人定位跟踪算法进行研究：包括基于RSS的KNN室内定位算法、基于RSS的卡尔曼滤波算法、融合RSS和DR的粒子滤波算法 等。
04-22
对室内的行人定位跟踪算法进行研究：包括基于RSS的KNN室内定位算法、基于RSS的卡尔曼滤波算法、融合RSS和DR的粒子滤波算法 等。比较好的算法
K近邻算法
cjavacjavacjava的博客
07-20 262
1、收集数据 2、计算目标数据与所有数据的距离 3、取前K个距离最小的数据 4、取3中出现最多的类，则目标数据属于这个类
K近邻(KNN)
星辰的博客
08-22 2048
K近邻法假设给定一个训练数据集，其中的实例类别已定。分类时对新的实例，根据其K个最近邻的训练实例的类别，通过多数表决等方式进行预测。K近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。K值的选择、距离度量及分类决策规则是K近邻法的三个基本要素。 关键理论或技术技术 K近邻算法简单、直观，给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分为这个类。 （1）k近邻法是基本且简单的分类与回归方法。K近邻的基本做法是：
机器学习算法（三）---K近邻
u012121721的博客
08-09 484
K近邻算法（K-Nearest Neighbors，KNN）是一种基于实例的监督学习算法，用于分类和回归问题。其基本思想是根据样本之间的距离度量（如欧几里得距离），将待分类样本归类为其邻近K个样本中出现频率最高的类别。KNN不需要显式的训练过程，而是将所有训练数据存储在内存中，预测时根据距离计算进行分类或回归。该算法简单易懂，但在大规模数据集上计算开销较大，且对噪声敏感。
K-近临算法
JaysonWong的博客
03-23 522
K-近邻算法百度百科解释为“K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：在特征空间中，如果一个样本附近的k个最近(即特征空间中最邻近)样本的大多数属于某一个类别，则该样本也属于这个类别。” 简单来说KNN就是测量不同特征值之间的距离然后进行分类，属于无监督学习的一种。 本文主要分享一下我学习KNN原理的...
k近邻和k-means
陶将的博客
10-24 9718
k近邻和k-means，听名称很相似，很容易张冠李戴。其实它们的全名为K近邻分类算法（k-Neighbour，KNN）和K均值聚类算法（K-means clustering algorithm）。 k紧邻是一中基本的分类与回归算法，是监督学习算法，没有明显的训练学习过程。 k-means是聚类算法，是无监督学习算法，有训练步骤。 k近邻 k近邻（k-neareast neighbor）的直观理解就是：给定一个训练数据集T={(xi,yi),⋯ ,(xn,yn)}T = \left \{ \left (
k-approximation algorithm k-近似算法是什么 k代表什么
软件工程小施同学 的专栏
03-19 4851
ApproximationAlgorithms Note:You are looking at a static copy of the former PineWiki site, used for class notes byJames Aspnesfrom 2003 to 2012. Many mathematical formulas are broken, and there are likely to be other bugs as well. These will mo...
【机器学习】KNN算法详解
Devil丶LY
10-17 1575
KNN算法概述 KNN(k-nearest neighbor)算法属于机器学习中的有监督分类算法，主要用于分类，是最简单的机器学习算法之一顾名思义，其算法主体思想就是根据距离相近的邻居类别，来判定自己的所属类别。 KNN算法思路 1、计算测试对象与训练集中所有对象的距离，一般采用欧式距离。 2、找出与计算对象距离最近的K个对象，作为测试对象的邻居； 3、找出这K个对象中出现频率最高的类别，该类别即...
虚假近临点法python
12-27
### 虚假近邻点法 Python 实现 虚假近邻点法是一种用于检测嵌入维度是否合适的方法，在时间序列分析等领域有广泛应用。该方法通过判断重构相空间中的两点在增加嵌入维度后是否仍然接近来决定合适的嵌入维度。 #### 方法原理 对于给定的时间序列 \( \{X_t\} \)，假设已经选择了初始的延迟时间和嵌入维度 m 来构建向量： \[ V_i^{(m)} = [X(i), X(i+\tau), ..., X(i+(m-1)\tau)] \] 当嵌入维度增加到 \( m+1 \) 时，对应的向量变为: \[ V_i^{(m+1)} = [X(i), X(i+\tau), ..., X(i+(m-1)\tau), X(i+m\tau)] \] 如果两个相邻点之间的欧氏距离显著增大，则认为这两个点是虚假近邻点。 #### Python 实现 下面是一个简单的 Python 函数实现，用来计算指定数据集上的虚假近邻比例[^1]: ```python import numpy as np def false_nearest_neighbors(time_series, tau, min_dim, max_dim, threshold=0.1): """ 计算不同嵌入维度下的虚假最近邻居的比例 参数: time_series (list/array): 输入的一维时间序列. tau (int): 延迟参数. min_dim (int): 最小嵌入维度. max_dim (int): 最大嵌入维度. threshold (float): 判断是否为虚假近邻的标准，默认值为0.1 返回: fns_ratio (dict): 不同嵌入维度下虚假最近邻居的比例字典 {dim: ratio}. """ def create_embedding(data, dim, delay): n = len(data)-(dim-1)*delay embedded_data = np.zeros((n,dim)) for i in range(dim): embedded_data[:,i] = data[i*delay:i*delay+n] return embedded_data fns_ratio = {} for m in range(min_dim, max_dim + 1): emb_m = create_embedding(time_series, m, tau) dists = [] nearest_indices = [] # 寻找每个点最邻近距离及其索引 for idx, point in enumerate(emb_m[:-1]): distances = np.linalg.norm(point - emb_m[idx+1:], axis=1) closest_idx = np.argmin(distances)+idx+1 nearest_indices.append(closest_idx) dists.append(distances.min()) count_fnn = 0 if m < max_dim: emb_next = create_embedding(time_series, m+1, tau) for j, index in enumerate(nearest_indices): orig_dist = dists[j] new_point_1 = emb_next[j] new_point_2 = emb_next[index] next_dist = np.linalg.norm(new_point_1-new_point_2) R = next_dist/orig_dist if R >= threshold and abs(new_point_1[-1]-new_point_2[-1]) > \ 10 * np.std(time_series[(index+j):(index+j+len(new_point_1)-1)]): count_fnn += 1 fns_ratio[m] = float(count_fnn)/len(dists) return fns_ratio ``` 此代码定义了一个 `false_nearest_neighbors` 函数，它接收时间序列以及一些必要的参数作为输入，并返回一个包含各个嵌入维度对应虚假近邻比率的结果字典。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值