如何直观地理解「协方差矩阵」？

最新推荐文章于 2023-05-28 17:16:32 发布
转载 最新推荐文章于 2023-05-28 17:16:32 发布 · 408 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://zhuanlan.zhihu.com/p/37609917

本文深入浅出地解析了协方差矩阵的概念，通过实例和图表帮助读者理解其在数据分布和方向上的意义，是统计学和机器学习中不可或缺的基础知识。
[转]浅谈协方差矩阵
weixin_33802505的博客
07-10 3941
一、统计学的基本概念 统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述： 均值： 标准差： 方差： 均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。 以这两个集合为例，[0, 8, 12, 20]和[8, 9, 11, 12]，两个集合的均值都是10，...
计算协方差矩阵中的XX^{T}和X^T{T}的区别
追梦的博客
09-07 3154
假设X∈Rm×nX \in \R^{m \times n}X∈Rm×n，通常在数据降维过程中m<<n 令A=XTXA=X^TXA=XTX，B=XXTB=XX^TB=XXT，显然A∈Rn×nA \in \R^{n \times n}A∈Rn×n，B∈Rm×mB \in \R^{m \times m}B∈Rm×m,rank(A)=rank(B)rank(A)=rank(B)rank(A)=rank(B),$显然，A和B都是对称半正定矩阵，且A有n个特征向量，B有m个特征向量。 ...
协方差矩阵Covariance matrix
08-08 1万+
协方差的定义   对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩阵是怎么计算出来的吧。 记住，X、Y是一个列向量，它表示了
协方差直观理解
Chinge
05-24 1411
协方差其意义： 度量各个维度偏离其均值的程度。协方差的值如果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)，结果为负值就说明负相关的，如果为0，也是就是统计上说的“相互独立”。 如果正相关，这个计算公式，每个样本对（Xi, Yi）,　每个求和项大部分都是正数，即两个同方向偏离各自均值，而不同时偏离的也有，但是少，这样当样本多时，总和结果为正。下面这个图就很直观。下面转载自：ht...
如何直观地理解「协方差矩阵」？ - 知乎
studyvcmfc的专栏
02-07 1488
如何直观地理解「协方差矩阵」？ - 知乎
如何理解协方差矩阵？PCA降维是怎么使用到协方差矩阵的？
然后就去远行
01-07 1616
1.统计学的基本概念 统计学里最基本的概念就是样本的均值、方差、标准差。首先给定一个含有n个样本的集合，下面给出这些概念的公式描述： 均值：x‾=∑i=1nxin\overline{x}=\frac{\sum_{i=1}^nx_i}{n}x=n∑i=1n​xi​​ 标准差：s=∑i=1n(xi−x‾)2n−1s = \sqrt{\frac{\sum_{i=1}^n(x_i-\overline{x...
协方差分析_、matlab演示协方差原理_协方差矩阵的二维认识_
10-03
4. 可视化协方差：可以使用`imagesc`或`heatmap`函数绘制协方差矩阵的图像，帮助直观理解变量间的相关性。 例如，如果我们有数据矩阵`Data`，可以这样操作： ```matlab % 加载数据 load('协方差分析.mat'); % ...
协方差矩阵
m0_55196097的博客
05-05 1万+
对两个类内协方差矩阵进行对角化，可以将它们变换为对角矩阵。这个过程可以通过对每个协方差矩阵进行特征值分解来实现，从而得到它们的特征向量和特征值，进而得到它们的对角矩阵形式。这个过程的意义在于，它可以帮助我们找到一个新的坐标系，使得在这个坐标系下，每个特征之间都是独立的，从而简化了计算。具体来说，当我们使用对角协方差矩阵作为特征向量的坐标系时，它意味着每个特征之间都是相互独立的，从而方便了进一步的分析和处理。在实际应用中，对角化协方差矩阵可以用于降维、特征选择和分类等任务。
协方差矩阵的几何解释1
08-03
总结起来，协方差矩阵在几何上提供了一种直观的方式来理解和解释多变量数据的统计特性。通过特征分解，我们可以找到数据的主要方向并量化其在各个方向上的变异。此外，协方差矩阵还能反映数据的线性变换，揭示数据的...
协方差 的直观理解
weixin_30888707的博客
01-05 1997
1.协方差 方差是描述自身偏离其均值的程度。 协方差用来描述两个变量间的变化关系,协方差用来度量两个随机变量关系的统计量 \[ cov(X,Y)=E[(X-E[X])(Y-E[Y])] \] \[ cov(X,Y)=E[(X-μ_x)(Y-μ_y)] \] E[x] 代表期望，一般置X的均值 公式：如果有X,Y两个变量，每个时刻的“X值与其均值之差”乘以“Y值与其均值之差”得到一个乘积，再对这每...
深入理解协方差（图文详解）
热门推荐
野生猿-群号1025127672
07-15 8万+
先从方差开始，我们有一组样本x1、x2、x3····xn，这组样本的均值为EX，每一个样本都与EX之间存在误差，那么这组样本的方差被定义为：所有误差的和的均值，也即[Σ(xi-EX)^2]/(n-1)， 方差的作用就是用来“衡量样本偏离均值的程度”。 下面开始看协方差： 仔细观察上述定义式，可知：如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的...
如何理解协方差矩阵（散布矩阵）
weixin_43818893的博客
04-01 1903
这学期开了模式识别的学习课程，经常提到概率论与数理统计的一个概念：协方差矩阵（在模式识别中又叫散布矩阵）。理解这个矩阵严格意义上来说其实不需要太多先导知识，我们只需要了解一些线性代数基本的概念。但是你如果不了解协方差矩阵，听模式识别的课程就会云里雾里（就像我一样）。 那么在学习协方差矩阵之前 首先你需要知道一些统计学的基本概念 1.均值： 2.样本标准差： 均值很好理解，是描述样本集合中的中间点，是所有信息的平均。而标准差描述的是一种散布度，比如[0,10,11]和[6,7,8]的均值是一样的都是7，但
西瓜书-answer- 第十章 降维与度量学习
糖糖糖豆的博客
01-18 2146
http://blog.youkuaiyun.com/icefire_tyh/article/details/52243081 2.令err,err∗分别表示最近邻分类器与贝叶斯最优分类器的期望错误率，试证明：err∗≤err≤err∗(2−|Y||Y|−1∗err∗)。 由书226页可知 err=1−∑c∈YP2(c|x) err∗=1−maxc∈YP(c|x) 设c∗=argmaxc∈YP(c|x)
PCA主成分分析 | 机器学习
weixin_48888528的博客
05-28 858
1 主成分分析概述 PC：找到的每个新特征向量，降低特征个数，降维找出数据中最主要的，用最主要的代替原始数据。非监督的降维方法 信息衡量指标： 样本方差，方差越大，特征所带信息量越多。 2 算法流程 输入：n维样本集D=(x(1),x(2),…,x(m))，要降维到的维数n’. 输出：降维后的样本集D′ 1 对所有样本进行中心化（样本-均值） 2 计算协方差矩阵XXT 3 对矩阵特征值分解 4 取出n个特征值对应的特征向量(w1,w2,…,wn′)，将所有向量标准化后，组成特征向量矩阵W 5 矩阵分解：
关于协方差矩阵
woaixiangrikui的专栏
08-08 969
http://hi.baidu.com/hehui1500/item/fba9444327a24693823ae1e9 协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。
机器学习中的降维算法汇总归纳
yingwei13mei的博客
09-13 5353
最近看了降维的各类算法，想简单做个回顾和小结，先上图 一、浅谈协方差矩阵 1.1、统计学的基本概念 均值：x&nbsp;¯&nbsp;=∑&nbsp;n&nbsp;i=1&nbsp;x&nbsp;i&nbsp;n&nbsp;&nbsp;x¯=∑i=1nxin\bar x =\dfrac {\sum_{i=1}^n x_i} n 方差：var(x)=∑&nbsp;n&nbsp;i=...
pca原理--主成分分析
qq_39691463的博客
11-30 2719
一：数学基础 1.1 内积 两个向量的 A 和 B 内积我们知道形式是这样的： 内积运算将两个向量映射为实数，其计算方式非常容易理解，但我们无法看出其物理含义。接下来我们从几何角度来分析，为了简单起见，我们假设 A 和 B 均为二维向量，则： 其几何表示如下： 我们可以看到A向量到B向量的内积就等于A向量到B向量的投影长度乘以B向量的模。如果B向量的模等于等于1，即|B| = 1，则有 A*B = |A|COS(α) 也就是说，A 与 B 的内积值等于 A 向 B 所在直线投影的标量大小。 1.2 基
机器学习算法 | PCA（主成分分析）降维算法
yuanCruise
06-27 3352
一：PCA算法目的 根据样本矩阵X={x1，x2,…, Xm}，以及当前样本空间中样本个数N，求得样本协方差矩阵XXT，中的最大的K个特征向量，并且利用这K个特征向量组成的矩阵进行低纬度降维，实现数据的主成分分析。 二：PCA降维的整体步骤 （1）对原始数据减去平均值，实现去中心化。 （2）求出样本空间中N个样本的样本协方差矩阵（XXT）。 （3）利用SVD奇异值分解（适用于任意矩阵） 或 特征值分解（只适用于方阵）对样本协方差矩阵进行特征向量，特征值的分解。 （4）对特征值进行降序排列，选出最大的K个，并
协方差矩阵是如何理解的
最新发布
09-04
用户要求理解协方差矩阵的含义，并且我们有一些引用材料。根据引用，协方差矩阵在统计学和机器学习中非常重要，它由方差和协方差组成。方差在对角线上，协方差在非对角线上。我们可以从几何角度来理解它。 首先，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值