7、概率分布估计：共轭先验、可信区间与集中不等式

概率分布估计：共轭先验、可信区间与集中不等式

1. 正态分布的共轭先验

1.1 正态分布定义

正态分布是一种连续分布，结果取值范围为实数集 $\mathbb{R}$。它有两个参数：均值 $\omega \in \mathbb{R}$ 和方差 $\sigma^2 \in \mathbb{R}^+$，也可以用精度 $r \in \mathbb{R}^+$ 表示，其中 $\sigma^2 = r^{-1}$。其概率密度函数为：
[f(x_t | \omega, r) = \sqrt{\frac{r}{2\pi}} \exp\left(-\frac{r}{2}(x_t - \omega)^2\right)]
当 $x$ 服从参数为 $\omega$ 和 $r^{-1}$ 的正态分布时，记为 $x \sim N(\omega, r^{-1})$；对于大小为 $t$ 的样本，记为 $x_t \sim N_t(\omega, r^{-1})$。独立样本满足：
[f(x_t | \omega, r) = \prod_{k = 1}^{t} f(x_k | \omega, r) = \left(\frac{r}{\sqrt{2\pi}}\right)^t \exp\left(-\frac{r}{2} \sum_{k = 1}^{t} (x_k - \omega)^2\right)]

1.2 正态样本的变换

• 若 $x_n$ 从均值为 $\omega$、精度为 $r$ 的正态分布中抽取，则 $\sum_{k = 1}^{n} x_k \sim N(n\omega, nr^{-1})$。
• 若 $x_t \si