高斯分布相乘、卷积整理

最新推荐文章于 2024-07-04 09:30:31 发布

原创

最新推荐文章于 2024-07-04 09:30:31 发布 · 4.8k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#高斯分布的乘积

本文详述了高斯分布相乘的原理，包括一元和多元高斯分布的乘积，以及一元高斯的卷积分布。通过公式推导展示了多元高斯分布相乘仍为高斯分布，并介绍了参数推断和高斯线性系统在机器学习中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章包括的内容有：

一元高斯分布相乘的分布
多元高斯分布相乘的分布
一元高斯的卷积分布
应用：对多元高斯分布的参数推断
应用：高斯线性系统的推导

前三部分的参考文献Products and Convolutions of Gaussian Probability Density
Functions. P.A. Bromile。应用的内容来自"machine learning a probabilistic perspective"的第四章p119~p120页。

引言

高斯分布是一个很重要的连续分布形式，频繁出现应用场景和里也可以导出很多分布，如在典型的线性回归中对误差 $\varepsilon$ 的建模就是用的标准正态分布，统计学的学生 $\, t\,$ 分布就是从正态分布中导出。随着贝叶斯统计学的广泛应用，相乘的高斯分布（高斯先验）等形式也出现在公式中，例如高斯线性系统，本文就这些形式进行说明。

一元高斯分布相乘

假设 $p(x_1)=\mathcal{N}(x\vert \mu_1,\sigma_1), \, p(x_2)=\mathcal{N}(x\vert \mu_2,\sigma_2)$ 均是关于变量 $x$ 的分布，现想计算 $p(x_1)p(x_2)$ 的分布形式。
$\begin{aligned} p(x_1)p(x_2) & = e^{-\frac{1}{2\sigma_1^2}(x-\mu_1)^2}e^{-\frac{1}{2\sigma_2^2}(x-\mu_2)^2} \\ & =e^{-\frac{1}{2}\frac{（\sigma_1^2+\sigma_2^2）x^2-2(\mu_1\sigma_2^2+\mu_2\sigma_1^2)x+\text{constant}}{\sigma_1^2\sigma_2^2}}\end{aligned}$
得两个高斯分布相乘仍为缩放的高斯分布，通过配方得到缩放的高斯分布参数为：
$\begin{aligned} \mu & = \frac{\mu_1\sigma_2^2+\mu_2\sigma_1^2}{\sigma_1^2+\sigma_2^2} \\ \sigma & = \sqrt{\frac{\sigma_1^2\sigma_2^2}{\sigma_1^2+\sigma_2^2}} \end{aligned}$
上式可写为如下形式，从而推广至 $n$ 个一维高斯分布相乘：
$\begin{aligned} \mu &= (\frac{\mu_1}{\sigma_1^2}+\frac{\mu_2}{\sigma_2^2})\sigma^2 \\ \frac{1}{\sigma^2} &= \frac{1}{\sigma_1^2} + \frac{1}{\sigma_2^2} \end{aligned}$