联合分布

       让我们先从离散变量开始探讨联合概率分布。

   首先,我们给定一个如下的样本空间:

         Ω={hhh,hht,hth,thh,htt,tht,tth,ttt}

   用这个样本空间代表连续三次投硬币可能产生的结果,h为正面,t为反面。

   在概率论中,一个重要的思想是认为随机变量是从样本空间到实数的映射。比如,针对上述样本空间,我们可以建立两个随机变量:

         X:投掷为正面的总数,可以取值0,1,2,3。

         Y:最后一次出现负面的总数,可以取值0,1。

   考虑下面的问题:如果样本空间Ω中每个结果出现的概率相等。而样本空间中共有8个结果,那么每个结果的出现的概率都是1/8。在这样的条件下,X=0,Y=1同时出现的概率是多少呢?按照我以前的知识,我可能第一反应是用两个独立随机变量同时出现的概率计算方法来解决这个问题。然而,不幸的是,这并不是两个独立的随机变量,X的不同取值会影响到Y的取值。在上述的例子中,P(X=0,Y=1)=P({ttt})=1/8,这是非独立变量X,Y同时发生X=0,Y=1的概率,即联合概率对于所有的X取值和Y取值的组合,我们都可以计算这样一个联合概率,这个联合概率的集合将构成一个联合分布。针对上述的例子,我们可以列出一个联合分的表


        连续随机变量的联合分布同此一理。不同的是,对于连续随机变量来说,通过概率密度函数计算概率的方式稍微复杂一些。学过正态分布的同学,应该知道,对于正态分布函数来说,如果要计算区间[a,b]的概率,我们要计算a至b这段函数的面积。通过积分即可求解。对于连续变量的联合分布来讲,由于它是关于两个随机变量共同出现的描述,所以它的概率密度函数将呈现在一个三维空间中。


       在这个空间中,x轴,y轴分别代表两个随机变量,z轴的值是概率密度函数。如果我们希望求得变量x在区间[a,b],变量y在区间[c,d]的概率,now, use your imagination我们要首先在xoy平面上画出位于两个区间内的平行四边形,而后以这个平行四边形为底沿z轴方向切割空间至概率密度函数终止。这样将得到一个立方体,其体积即是所欲求得的概率值。同样,可以用积分的方法来计算:

               最后补充一下联合概率与条件概率的关系。

   回到最开始的硬币例子。P(X=0,Y=1)=P({ttt})=1/8表示无正面出现,最后一次是背面的概率为1/8。如果我们要计算条件概率,如无正面出现时,最后一次是背面的概率,我们很清楚这概率为1。而单纯无正面出现的概率为1/8,从数字上你可以看到一些关系。实际上联合分布P(X,Y)正是可以看作是X单独出现的概率乘以X出现时Y出现的概率,即P(X,Y)=P(X)*P(Y|X)。


### 高斯联合分布的定义 高斯联合分布,也称为多元正态分布或多维高斯分布,是对一元高斯分布在多维空间中的推广。它描述了一组随机变量的联合分布,这些随机变量通常表示为一个随机向量 $\mathbf{x} = (x_1, x_2, \dots, x_D)$ [^1]。 在数学上,如果一个 $D$ 维随机向量 $\mathbf{x}$ 服从高斯联合分布,则其概率密度函数可以表示为: $$ p(\mathbf{x}) = \frac{1}{(2\pi)^{D/2} |\Sigma|^{1/2}} \exp\left(-\frac{1}{2} (\mathbf{x}-\mu)^T \Sigma^{-1} (\mathbf{x}-\mu)\right) $$ 其中,$\mu$ 是均值向量,$\Sigma$ 是协方差矩阵,且 $\Sigma$ 必须是对称正定的。[^3] ### 高斯联合分布的应用 高斯联合分布在多个领域有着广泛的应用,特别是在统计学、信号处理、机器学习等领域。以下是一些具体应用实例: - **状态估计**:在机器人学中,当处理复杂非线性系统的状态估计问题时,常常会利用到高斯分布的概念。例如,在使用扩展卡尔曼滤波器进行状态估计的过程中,系统状态和观测值都被假设为遵循高斯分布。 - **数据建模**:高斯混合模型(GMMs)经常被用来对数据集进行聚类分析,其中每个聚类都被建模为一个独立的高斯分布。 - **模式识别**:在模式识别任务中,可以通过计算给定类别下特征向量的概率密度来实现分类目的。 - **金融工程**:金融市场中的许多风险管理和资产定价模型也会采用多元高斯分布来模拟不同资产之间的相关性。 此外,高斯过程(GP)也是基于高斯联合分布的一种重要概念,它被用于回归和分类等机器学习任务中。高斯过程通过指定任意有限数量的输入点对应的输出值满足多元高斯分布来定义整个函数的空间 [^2]。 ### 示例代码 下面是一个简单的 Python 示例,展示如何生成符合特定均值向量和协方差矩阵的二维高斯联合分布样本: ```python import numpy as np import matplotlib.pyplot as plt # 定义均值向量 mean = [0, 0] # 定义协方差矩阵 cov = [[1, 0.5], [0.5, 1]] # 生成2D高斯联合分布样本 samples = np.random.multivariate_normal(mean, cov, size=1000) # 绘制散点图 plt.scatter(samples[:, 0], samples[:, 1]) plt.xlabel('X') plt.ylabel('Y') plt.title('Bivariate Gaussian Distribution Samples') plt.show() ``` 此代码片段首先导入必要的库,然后定义了一个均值向量 `mean` 和一个协方差矩阵 `cov`,接着使用 NumPy 的 `multivariate_normal` 函数生成了1000个样本,并绘制了这些样本的散点图。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值