机器学习中的数学(3)——协方差矩阵和散布（散度）矩阵

最新推荐文章于 2025-02-10 18:29:57 发布
最新推荐文章于 2025-02-10 18:29:57 发布
阅读量361 收藏
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39775472/article/details/113092279
版权

https://blog.youkuaiyun.com/liuweiyuxiang/article/details/77566342

机器学习笔记——降维
haopinglianlian的博客
11-20 1896
本笔记介绍机器学习中常见的无监督学习方法——降维。
机器学习-降维方法-有监督学习：LDA算法(线性判别分析)【流程：①类内散度矩阵Sw-＞②类间散度矩阵Sb-＞计算Sw^-1Sb的特征值、特征向量W-＞得到投影矩阵W-＞将样本X通过W投影进行降维】
u013250861的博客
10-29 3893
LDA 是一种有监督学习算法，同时经常被用来对数据进行降维。 相比于PCA，LDA可以作为一种有监督的降维算法。在PCA中，算法没有考虑数据的标签（类别），只是把原数据映射到一些方差比较大的方向上而已。 LDA的中心思想：投影后类内方差最小，类间方差最大。要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。 现在我们首先从比较简单的二类LDA入手，严谨的分析LDA的原理： 假设我们的数据集D={(x1,y1),(x2,y2),...,
LDA散度矩阵的计算
08-17
计算LDA中的散度矩阵，matlab实现
【协方差】【相关系数】【协方差矩阵】【散度矩阵】
梁小憨憨的博客
11-15 1398
本篇为《深度学习》系列博客的第七篇，该系列博客主要记录深度学习相关知识的学习过程和自己的理解，方便以后查阅。 这是PCA知识铺垫的最后一篇博客了，加油吧，慢慢来，比较快。 【协方差】【相关系数】【协方差矩阵】【散度矩阵】均值、方差、标准差协方差为什么需要协方差协方差的通俗理解相关系数协方差矩阵概念理解Matlab协方差实战散度矩阵 均值、方差、标准差 均值： xˉ=∑i=1nxin(1) \bar{x}=\frac{∑^n_{i=1}x_i}{n} \tag{1} xˉ=n∑i=1n​xi​​(1) 方差
协方差和散布矩阵
studyvcmfc的专栏
07-07 279
https://blog.youkuaiyun.com/guyuealian/article/details/68922981
机器学习——离散特征处理之独热编码和稀疏矩阵处理
沉迷单车的追风少年
03-08 2787
独热编码这东西很有趣，和数字电路里面的格雷码有异曲同工之妙！其实也很正常，统计机器学习特别是自然语言处理方面的兴起正是引入了通信领域的数学模型，这段历史很有趣，可以看看吴军老师的《数学之美》。 我们在处理机器学习数据的时候经常会见到离散特征的数据，例如水果的颜色、人名等，离散特征的挑战在于不是连续的方式，这导致很难用数字去描述，所以引入独热编码进行处理。 独热编码，One-Hot编码，又称为一...
matlab类间散度矩阵,协方差矩阵和散布矩阵（散度矩阵）的意义
weixin_34625578的博客
03-17 3266
在机器学习模式识别相关算法中，经常需要求样本的协方差矩阵C和散布矩阵S。如在PCA主成分分析中，就需要计算样本的散度矩阵，而有的教材资料是计算协方差矩阵。实质上协方差矩阵和散度矩阵的意义就是一样的，散布矩阵(散度矩阵)前乘以系数1/(n-1)就可以得到协方差矩阵了。在模式识别的教程中，散布矩阵也称为散度矩阵，有的也称为类内离散度矩阵或者类内离差阵，用一个等式关系可表示为：关系：散度矩阵=类内离散度...
计算机保研/考研面试复习——机器学习篇
最新发布
zeng699304的博客
02-10 727
计算机保研/考研面试复习——机器学习篇
主成分分析PCA和矩阵的奇异值分解SVD
hahaxq的博客
04-21 1078
PCA和SVD   引言：在机器学习中，PCA主要是用于数据的降维，将高维的样本数据降维到低维保存，因为其在降维的过程中，综合了样本中各个特征的属性数据，所以降维后的样本数据仍然很好的保存了原始样本数据的信息，同时维度降低了（可以理解为，样本的属性减少，新的维度属性综合了之前所有样本的属性），且有利于数据的保存。另一方面，与PCA紧密相关的另一个算法叫做SVD，它不仅能够用于数据的降维还可以用于...
方向导数 梯度 Hessian矩阵 散度 曲率圆 泛函分析
lwk___123的博客
10-10 813
主要介绍了方向导数、梯度、Hessian矩阵、散度、曲率圆、泛函分析的部分相关内容，便于读者记忆与理解。
机器学习模型为什么要将特征离散化
weixin_34138377的博客
08-07 683
　　在学习机器学习中，看过挺多案例，看到很多人在处理数据的时候，经常把连续性特征离散化。为此挺好奇，为什么要这么做，什么情况下才要做呢。 一、离散化原因 　　数据离散化是指将连续的数据进行分段，使其变为一段段离散化的区间。分段的原则有基于等距离、等频率或优化的方法。数据离散化的原因主要有以下几点： 1、算法需要 　　比如决策树、朴素贝叶斯等算法，都是基于离散型的数据展开的。如果要使用该类算...
协方差矩阵和散布矩阵（散度矩阵）的意义
热门推荐
AI吃大瓜的博客
03-31 4万+
协方差矩阵和散布矩阵的意义 在机器学习模式识别中，经常需要应用到协方差矩阵C和散布矩阵S。如在PCA主成分分析中，需要计算样本的散度矩阵，有的论文是计算协方差矩阵。实质上二者意义差不多，散布矩阵（散度矩阵）前乘以系数1/(n-1)就可以得到协方差矩阵了。 在模式识别的教程中，散布矩阵也称为散度矩阵，有的也称为类内离散度矩阵或者类内离差阵，用一个等式关系可表示为： 关系：散度矩阵=类内离散度矩阵=类内离差阵=协方差矩阵×（n-1） 样本的协方差矩阵乘以n-1倍即为散布矩阵，n表示样本
hessian矩阵_梯度，散度，Laplacian，Hessian 连连看
weixin_39949413的博客
12-01 1744
“学数学是为了掌握数学家用的语言”机器学习中绕不开的一些数学概念：梯度，散度，Laplacian算子，Hessian矩阵，它们有许多应用，如神经网络中重要的梯度下降算法，CV中基础的laplacian filter, GNN中貌似高级的 Laplacian matrix，Hessian matrix也常常出现在各类paper之上。菜鸡如我常常翻了查又忘记，所以这里把目前的理解记录下来。目...
摘抄 - 从几何角度看协方差矩阵
htuhxf的博客
08-02 1517
简介： 本文通过探索线性变换和变换后数据协方差的的关系，提供一个直观的、几何图示的协方差矩阵解释。大多数教材都是通过协方差矩阵的概念来解释数据的分布形状。相反的我们通过数据分布的形状来解释协方差矩阵。 在先前的文章里我们探讨和方差的概念，并给出了预估方差的公式的推导和证明。这里Figure 1 展现了标准差——方差的根，量化了整个数据的分布： 下边这个公式可以或许样本方差的估计值： σ2=1N−1∑i=1N(xi−μ)2=E[(x−E(x))(x−E(x))]=σ(x,x)\sigma^2=\frac{1
机器学习处理数据为什么把连续性特征离散化、离散值、无监督、有监督用处
qq_43149373的博客
04-19 4862
一、离散化原因 数据离散化是指将连续的数据进行分段，使其变为一段段离散化的区间。分段的原则有基于等距离、等频率或优化的方法。数据离散化的原因主要有以下几点： 1、算法需要 比如决策树、朴素贝叶斯等算法，都是基于离散型的数据展开的。如果要使用该类算法，必须将离散型的数据进行。有效的离散化能减小算法的时间和空间开销，提高系统对样本的分类聚类能力和抗噪声能力。 2、离散化的特征相对于连续型特征更易理解，...
协方差矩阵的几何解释
蜗牛
05-23 3万+
介绍在本文中，我们通过探索线性变换与所得数据协方差之间的关系提供协方差矩阵一个直观的几何解释。大部分教科书基于协方差矩阵的概念解释数据的形状。相反，我们采取一个反向的方法，根据数据的形状来解释协方差矩阵的概念。在《为什么样本方差除以N-1？》的文章中，我们会讨论方差的概念，并提供了众所周知的估算样本方差公式的推导和证明。这篇文章中使用的图1表明标准差（方差的平方根）提供了数据在特征空间上传播多少的量
机器人学之运动学笔记【2】—— 变换矩阵
huangjunsheng123的博客
10-25 5097
机器人学之运动学笔记【2】—— 变换矩阵1.Transformation Matrix 的解释2.Transformation Matrix 的运算2.1 连续运算2.2 反矩阵 1.Transformation Matrix 的解释 前面已经学习描述一个刚体的位姿，在刚体的质心上建立 body frame ，刚体的位置由 body frame 的原点位置描述，刚体的姿态由 body frame 的姿态描述，将位置和姿态整合到一个矩阵中就是这样（Homogeneous transformation matr
降维系列算法进阶（二）23
small-guo
11-30 880
1协方差和散度矩阵 import numpy as np X=np.random.randint(0,100,size=(5,5)) X 输出： array([[36, 38, 69, 12, 58], [ 3, 92, 83, 14, 39], [76, 78, 11, 95, 71], [ 2, 93, 85, 35, 74], [35, 36, 98, 31, 16]]) 1.1协方差 np.cov(X,rowvar=False...
高斯过程：运动控制中的数学工具——协方差矩阵与随机变量线性变换
高斯过程是一种在数学和统计学中广泛使用的随机过程，特别是在信号处理、机器学习和控制系统等领域。第六章的内容深入探讨了高斯过程的基本概念和性质。首先，章节开始介绍了一维正态分布的随机变量的协方差矩阵，该...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值