机器学习之KNN算法

最新推荐文章于 2022-08-31 09:20:50 发布
最新推荐文章于 2022-08-31 09:20:50 发布
阅读量332 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_28666313/article/details/80886116
版权

K最近邻算法

闵可夫斯距离：

曼哈顿距离中：q为1，即作为绝对值运算。

d(i,j)=|X1-X2|+|Y1-Y2|.

欧式距离：q为2。

切比雪夫距离：q趋近于无穷，找到A-B的最短步数 ，红色方块为行走步骤


在这些距离中q越大，差异值越大得维度对最终距离的影响越大


 从例子中我们可以看出闵可夫斯距离是由AB两个向量，他们之间的差值为其向量对应的维度的差值。

/**************************************************************************************************************************************************************/

/*********************************************************************************马氏距离*****************************************************************/

/*************************************************************************************************************************************************************/

马氏距离考虑到了数据分布


在如图所示的两个概率分布中，对于相交点属于哪个概率分布，这就是马氏距离要考虑的。

如果按前面的闵可夫斯的算法表达，是计算出该点与两个概率分布均值点的距离，距离小则认为是属于哪个概率分布。

但马氏距离完全不是这一的计算方法，马氏距离（属于分布式的计算方法）通过确定该点落在两个概率分布中的概率来计算，它属于哪个概率分布。由图可知该点落在右边的概率要大，所以该点属于右边。

闵可夫斯距离实现：


机器学习之kNN算法
Deng872347348的博客
06-08 1056
机器学习之kNN算法
曼哈顿算法公式_机器学习算法之KNN
weixin_39800112的博客
12-18 900
1.算法名称：K—近邻算法(K Nearest Neighbor，简称KNN)2.算法的适用场景：有监督 分类3.算法的基本逻辑： 给定一个样本数据集，对于新的输入样本，在数据集中找到与它最邻近的K个样本，如果某个类别在这K个样本中出现次数最多，就把这个新输入的样本分到这个类别中。过程：(1)计算所有样本数据与当前输入样本数据的距离；(2)将计算出的距离按照升序排列，并取出前K个...
机器学习实验——kNN算法
m0_52474147的博客
08-31 1819
kNN 算法其实是众多机器学习算法中最简单的一种，因为该算法的思想完全可以用 8 个字来概括：“近朱者赤，近墨者黑”。
机器学习-kNN算法
12-15
kNN，全称为K最近邻（K-Nearest Neighbors），是机器学习领域中最基础且直观的算法之一。它属于监督学习方法，主要用于分类和回归问题。kNN算法基于一个简单的思想：未知类别的样本可以被分类为其最近的k个已知类别...
机器学习之knn算法
zxhcsdn的博客
11-12 307
Knn(K-nearest neighbour)是一种基本分类方法，通过测量不同特征值之间的距离进行分类。 他的思路是：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中k通常是不大于20的整数。 knn算法的结果很大程度上取决于k的选择。 在knn算法中，所选择的邻居都是已经正确分类的对象。 举个例子： 在图中绿色圆要被决定赋予哪一类，是红色三角还是蓝色四方形？ 如果k=3，则绿色圆将被赋予红色三角形那一类，如果k=5那么绿色圆将被赋予蓝
[机器学习实战] KNN算法
weixin_34345560的博客
03-24 230
此次和大家一起来学习KNN算法，将围绕以下四个方面来论述： 什么是KNN算法 算法原理 KNN的优缺点 实战应用 1.认识KNN算法 K近邻算法是一种基本的分类和回归方法。在分类问题中，KNN算法假设给定的训练集的实例类别已经确定，对于新来的实例，KNN算法根据其k个最近邻的训练集实例的类别，通过多数表决等方式对新实例的类别进行预测。 2.算法原理 通用步骤 计...
4.1K近邻--python机器学习
军军的专栏
08-17 632
1. 综述      1.1 Cover和Hart在1968年提出了最初的邻近算法      1.2 分类(classification)算法      1.3 输入基于实例的学习(instance-based learning), 懒惰学习(lazy learning) 2. 例子：                            未知电影属于
【机器学习算法 - 1】KNN
我不想写BUG的博客
03-09 1607
机器学习中的KNN（K-NearestNeighbor）算法，是数据挖掘分类中最技术简单的方法之一。
K近邻算法
糖糖糖豆的博客
10-23 449
转载给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，若这K个实例的多数属于某个类，就把输入实例分入这个类。K值选择K值得选择会对K近邻算法的结果产生重大影响： 若K值较小： 预测结果会对近邻实例点十分敏感，若近邻点恰巧为噪声，那预测就会出错。 若K值较大： 优点
2021-11-15
the_anmuxi的博客
11-16 705
机器学习西瓜书1-2第1章 绪论1. 1引言1. 2基本术语合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 第1章 绪论 1. 1引言 本书利用西瓜的一系列特征（x）以及西瓜的标记（y这个结果也可能没有）通过不同的模型来学习得到一个专门判断
机器学习系列(15)_KNN(K近邻)算法
05-25 1471
文章目录一、KNN1、K值的判断与选取2、缺失值差填补3、KNN填充和模型评估4、RESSION 一、KNN KNN最邻近分类算法的实现原理：为了判断未知样本的类别，以所有已知类别的样本作为参照，计算未知样本与所有已知样本的距离，从中选取与未知样本距离最近的K个已知样本，根据少数服从多数的投票法则（majority-voting），将未知样本与K个最邻近样本中所属类别占比较多的归为一类。 KNN属于懒惰学习，没有前期训练过程，而是在程序开始运行时，把数据加载到内存后，直接开始进行分类。 KNN分类算法的计算
机器学习_基于距离的算法KNN与K-Means
谢彦的技术博客
11-28 3609
线性回归，logistic回归，支持向量机，KNN，K-Means都属于基于距离的模型。下面以分类问题为例，看看它们之间的关系。
机器学习之KNN（k近邻）算法详解
热门推荐
平原的博客
07-03 15万+
1-1 机器学习算法分类 一、基本分类： ①监督学习（Supervised learning） 数据集中的每个样本有相应的“正确答案”， 根据这些样本做出 预测， 分有两类： 回归问题和分类问题。 步骤1： 数据集的创建和分类 步骤2： 训练 步骤3： 验证 步骤4： 使用 （ 1） 回归问题举例 例如： 预测房价， 根据样本集拟合出一条连续曲线。 （ 2） ...
机器学习入门研究（六）-KNN算法
nihaomabmt的专栏
11-15 1510
目录 转换器和预估器 转换器 预估器 KNN算法 定义 算法伪代码描述 k值的选择 几个距离计算 实例 sklearn中的API 实例 优缺点 转换器和预估器 转换器 主要用于特征工程。 我们之前在特征工程中介绍了好几个转换器，像DictVectorizer、StandardScaler等。这些转换器类都是继承Transformer。在使用的过程中我们的一般步骤如下...
机器学习之kNN算法实验
最新发布
03-12
### kNN算法概述 kNN算法（K-Nearest Neighbors），也被称为K-最邻近算法，是一种基本的机器学习算法，适用于分类和回归任务。此算法的核心在于利用特征空间中的相似度来决定未知样本所属类别。具体来说，在给定含有已知类别的训练集情况下，对于每一个待预测的新样本，计算它与所有训练样本之间的距离，并选取距离最小的前K个邻居作为参考对象；最终依据这些邻居们的类别标签，采用投票机制或者加权平均的方式得出目标样本应归属于哪一类[^2]。 ### 数据预处理的重要性 在实际操作过程中，准备高质量的数据至关重要。特别是在执行像手写数字识别这样的复杂任务时，不仅需要精心挑选合适的数据源，还需要设计有效的函数把原始图片转化为适合输入模型的形式，从而提高后续运用K近邻算法进行模式匹配的成功概率[^4]。 ### Python实现示例 下面给出一段简单的Python代码片段用来演示如何构建并评估一个基础版本的kNN分类器： ```python from collections import Counter import numpy as np def create_dataset(): group = np.array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) labels = ['A', 'A', 'B', 'B'] return group, labels def classify_knn(inX, dataset, labels, k): dataSetSize = dataset.shape[0] diffMat = np.tile(inX, (dataSetSize, 1)) - dataset sqDiffMat = diffMat ** 2 sqDistances = sqDiffMat.sum(axis=1) distances = sqDistances ** 0.5 sortedDistIndicies = distances.argsort() classCount = {} for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1 sortedClassCount = sorted(classCount.items(), key=lambda item:item[1], reverse=True) return sortedClassCount[0][0] group, labels = create_dataset() test_data_point = [0, 0] predicted_label = classify_knn(test_data_point, group, labels, 3) print(f"The predicted label of {test_data_point} is: {predicted_label}") ``` 上述程序定义了一个小型二维点集合及其对应的类别标记，并实现了`classify_knn()` 函数用于接收新的观测值 `inX`, 训练数据集 `dataset` 及其关联的真实标签 `labels` 和参数 `k`. 此外还展示了怎样调用这个自定义的方法完成一次具体的预测过程[^3]. ### 结果分析 为了验证模型性能的好坏程度，通常会在独立于训练阶段之外的一组测试样例上运行该算法，并统计误判次数占总检验数量的比例即误差率(error rate)，以此衡量系统的准确性水平.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值