多元高斯分布概率密度函数（PDF）示例

多元高斯分布概率密度函数（PDF）示例

多元高斯分布（Multivariate Gaussian Distribution）适用于 高维数据，用于建模数据的联合分布。其概率密度函数（PDF）如下：

$$p(x\mid \mu ,\Sigma )=\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right)$$

其中：

• $x$ 为 $D$ 维随机向量。
• $\mu$ 为均值向量（$D\times 1$）。
• $\Sigma$ 为协方差矩阵（$D\times D$）。
• $|\Sigma |$ 表示协方差矩阵的行列式（用于归一化）。
• ${\Sigma }^{-1}$ 为协方差矩阵的逆矩阵（用于衡量偏离均值的程度）。

示例：二维高斯分布

假设我们有一个二维（$D=2$）高斯分布，其均值和协方差矩阵如下：

$$\mu =\left[\begin{array}{c}1\\ 2\end{array}\right],\Sigma =\left[\begin{array}{cc}2& 0.5\\ 0.5& 1\end{array}\right]$$

现在计算一个样本点 $x=[2,3{]}^T$ 的概率密度。

1. 计算偏移向量：
   $$x-\mu =\left[\begin{array}{c}2\\ 3\end{array}\right]-\left[\begin{array}{c}1\\ 2\end{array}\right]=\left[\begin{array}{c}1\\ 1\end{array}\right]$$

2. 计算协方差矩阵的逆：
   $${\Sigma }^{-1}={\left[\begin{array}{cc}2& 0.5\\ 0.5& 1\end{array}\right]}^{-1}=\left[\begin{array}{cc}0.545& -0.273\\ -0.273& 1.091\end{array}\right]$$

3. 计算二次型（Mahalanobis 距离）：
   $$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )=\left[\begin{array}{cc}1& 1\end{array}\right]\left[\begin{array}{cc}0.545& -0.273\\ -0.273& 1.091\end{array}\right]\left[\begin{array}{c}1\\ 1\end{array}\right]$$

   计算：
   $$\left[\begin{array}{cc}1& 1\end{array}\right]\left[\begin{array}{c}0.272\\ 0.818\end{array}\right]=1.09$$

4. 计算 PDF：

   • $|\Sigma |=2\times 1-(0.5\times 0.5)=1.75$
   • 归一化项：
     $$\frac{1}{(2\pi {)}^{2/2}|\Sigma {|}^{1/2}}=\frac{1}{2\pi \sqrt{1.75}}$$
   • 指数项：
     $$\exp \left(-\frac{1}{2}\times 1.09\right)=e^{-0.545}$$
   • 计算最终值（数值计算部分可用 Python 验证）。

---

参数估计（MLE）示例

1. 估计均值向量

给定 $N$ 个样本：

$$x_1,x_2,...,x_N$$

均值向量的极大似然估计（MLE）为：
$$\hat{\mu }=\frac{1}{N}\sum _{n=1}^N{x}_n$$

示例

假设我们有 3 维数据的 5 个样本：

$$x_1=\left[\begin{array}{c}2\\ 3\\ 5\end{array}\right],x_2=\left[\begin{array}{c}3\\ 4\\ 6\end{array}\right],x_3=\left[\begin{array}{c}4\\ 2\\ 7\end{array}\right],x_4=\left[\begin{array}{c}5\\ 5\\ 5\end{array}\right],x_5=\left[\begin{array}{c}1\\ 2\\ 4\end{array}\right]$$

计算均值向量：
$$\hat{\mu }=\frac{1}{5}\left(x_1+x_2+x_3+x_4+x_5\right)$$

$$=\frac{1}{5}\left[\begin{array}{c}(2+3+4+5+1)\\ (3+4+2+5+2)\\ (5+6+7+5+4)\end{array}\right]$$

$$=\frac{1}{5}\left[\begin{array}{c}15\\ 16\\ 27\end{array}\right]=\left[\begin{array}{c}3\\ 3.2\\ 5.4\end{array}\right]$$

---

2. 估计协方差矩阵

协方差矩阵的极大似然估计（MLE）：
$$\hat{\Sigma }=\frac{1}{N}\sum _{n=1}^N(x_n-\hat{\mu })(x_n-\hat{\mu }{)}^T$$

示例

计算偏差向量：
$$(x_1-\hat{\mu })=\left[\begin{array}{c}2\\ 3\\ 5\end{array}\right]-\left[\begin{array}{c}3\\ 3.2\\ 5.4\end{array}\right]=\left[\begin{array}{c}-1\\ -0.2\\ -0.4\end{array}\right]$$

计算协方差矩阵：
$$\hat{\Sigma }=\frac{1}{5}\sum _{n=1}^5(x_n-\hat{\mu })(x_n-\hat{\mu }{)}^T$$

完整计算可以用 Python 验证。

---

Python 代码验证

可以用 Python 计算 PDF 和 MLE 估计值：

import numpy as np
import scipy.stats as stats

# 定义均值和协方差矩阵
mu = np.array([1, 2])
Sigma = np.array([[2, 0.5], [0.5, 1]])

# 定义样本点
x = np.array([2, 3])

# 计算多元正态分布的概率密度
pdf_value = stats.multivariate_normal.pdf(x, mean=mu, cov=Sigma)
print(f"PDF 值: {pdf_value}")

# 生成样本数据
X = np.array([[2, 3, 5],
              [3, 4, 6],
              [4, 2, 7],
              [5, 5, 5],
              [1, 2, 4]])

# 计算 MLE 估计的均值
mu_hat = np.mean(X, axis=0)
print("MLE 估计的均值向量:", mu_hat)

# 计算 MLE 估计的协方差矩阵
Sigma_hat = np.cov(X, rowvar=False, bias=True)
print("MLE 估计的协方差矩阵:\n", Sigma_hat)

总结

1. 多元高斯分布 PDF 计算涉及 协方差矩阵的行列式、逆矩阵、指数项，用于计算某个点的概率密度。
2. MLE 估计均值 即样本的平均值。
3. MLE 估计协方差矩阵 计算样本的偏差并求外积的均值。