【统计学习方法】多维高斯分布

最新推荐文章于 2025-02-17 15:42:44 发布

qauzy

最新推荐文章于 2025-02-17 15:42:44 发布

阅读量1.8k

点赞数 1

分类专栏：数学

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/idwtwt/article/details/103695256

版权

数学专栏收录该内容

18 篇文章

订阅专栏

1 基本概念

1.1 方差与协方差

协方差就是衡量两个变量相关性的变量。当协方差为正时，两个变量呈正相关关系（同增同减）；当协方差为负时，两个变量呈负相关关系（一增一减）。而协方差矩阵，只是将所有变量的协方差关系用矩阵的形式表现出来而已。通过矩阵这一工具，可以更方便地进行数学运算。

方差： $Var(X) = \frac{\sum_{i}^{n} (x_i-\bar{x})(x_i-\bar{x})}{n-1}$

协方差： $Cov(X,Y) = \frac{\sum_{i}^{n}(x-\bar{x})(y-\bar{y})}{n-1}$

1.2 协方差矩阵

根据方差的定义，给定 d 个随机变量 x_k,k=1,2,3,4... ，则这些随机变量的方差为

$Var(X) = \frac{\sum_{i}^{n} (x_{ki}-\bar{x_k})^2}{n-1}$

其中，为方便书写， $x_{ki}$ 表示随机变量 $x_{k}$ 中的第 i 个观测样本， n 表示样本量，每个随机变量所对应的观测样本数量均为 n 。

对于这些随机变量，我们还可以根据协方差的定义，求出两两之间的协方差，即

$Cov(X_k,X_m) = \frac{\sum_{i}^{n}(x_{ki}-\bar{x_{k}})(x_{mi}-\bar{x_{m}})}{n-1}$

因此，协方差矩阵为

$\begin{bmatrix} \quad Cov(x_1,x_1) ... \quad Cov(x_1,x_d) & & & & \\ \quad.& & & & \\ \quad.& & & & \\ \quad.& & & & \\ \quad Cov(x_d,x_1) ... \quad Cov(x_d,x_d) & & & & \end{bmatrix}$

1.3 一维高斯函数公式

$N(x|\mu,\sigma ^2) = \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

1.4 矩阵的逆

如果n阶矩阵A，如果存在n阶矩阵B，使AB = BA = E，则矩阵A成为可逆矩阵，B成为A的逆矩阵。

1.5 雅克比矩阵和雅克比行列式

在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式

1.6 海森Hessian矩阵

在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下：

2 高维高斯分布和公式推导

2.1 高维高斯函数

高维高斯函数：

$N(\bar{x}|\bar{\mu},\Sigma ) = \frac{1}{(2\pi)^{\frac{D}{2}}}\frac{1}{|\Sigma|^{\frac{1}{2}}}e^{-\frac{(x-\bar{\mu})^T\Sigma^{-1}(\bar{x}-\bar{\mu})}{2}}$

2.2 从一维高斯函数推导高维高斯函数

参考：

协方差矩阵

如何直观地理解「协方差矩阵」？

多维高斯分布

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。