7、常见概率分布与线性高斯系统详解

常见概率分布与线性高斯系统详解

1. 常见单变量分布

在概率模型中，有几种常见的单变量分布，它们各自具有独特的性质和应用场景。

1.1 拉普拉斯分布

拉普拉斯分布的参数包括位置参数 $\mu$ 和尺度参数 $b > 0$。其具有以下性质：
- 均值：$mean = \mu$
- 众数：$mode = \mu$
- 方差：$var = 2b^2$

拉普拉斯分布在鲁棒线性回归和稀疏线性回归中有重要应用。

1.2 贝塔分布

贝塔分布的取值范围在区间 $[0, 1]$ 内，其定义如下：
$Beta(x|a, b) = \frac{1}{B(a, b)}x^{a - 1}(1 - x)^{b - 1}$
其中，$B(a, b)$ 是贝塔函数，定义为 $B(a, b) \triangleq \frac{\Gamma(a)\Gamma(b)}{\Gamma(a + b)}$，$\Gamma(a)$ 是伽马函数，定义为 $\Gamma(a) \triangleq \int_{0}^{\infty}x^{a - 1}e^{-x}dx$。

贝塔分布的性质取决于参数 $a$ 和 $b$ 的取值：
- 当 $a = b = 1$ 时，为均匀分布。
- 当 $a$ 和 $b$ 都小于 1 时，为双峰分布，在 0 和 1 处有“尖峰”。
- 当 $a$ 和 $b$ 都大于 1 时，为单峰分布。

贝塔分布的其他性质如下：
- 均值：$mean = \frac{a}{a + b}$
- 众数：$mod