概率建模与贝叶斯推断实践解析

1、已知掷骰子时每个面出现的可能性相等，且所有可能结果的概率之和为1，计算骰子每个面朝上的概率。

由于骰子有六个面且每个面出现的可能性相等，同时所有可能结果的概率之和为1，所以每个面朝上的概率为 $ \frac{1}{6} $。

2、对以下先验（也是一种特定形式的贝塔密度）进行计算：当 0 ≤ r ≤ 1 时，p(r) = 2r；其他情况，p(r) = 0。能使 p(r) = 2r 的先验参数 α 和 β 的值是多少？

已知贝塔密度函数为

$$
p(r) = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}r^{\alpha - 1}(1 - r)^{\beta - 1}
$$

给定 $ p(r) = 2r $（$ 0 \leq r \leq 1 $）。

对比可得：

• $ (1 - r) $ 的幂次为 0，即 $ \beta - 1 = 0 $，解得 $ \beta = 1 $；
• $ r $ 的幂次为 1，即 $ \alpha - 1 = 1 $，解得 $ \alpha = 2 $。

同时，

$$
\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} = \frac{\Gamma(2 + 1)}{\Gamma(2)\Gamma(1)} = \frac{2!}{1! \times 0!} = 2
$$

满足条件。

所以，$ \alpha = 2 $，$ \beta = 1 $。

3、对于奥运会100米数据的线性模型，推导出高斯后验的表达式。代入µ0 = [0, 0, … , 0]T后，后验均值µw = 1 / σ2 (1 / σ2 XTX + Σ−1 0)−1 Xt与正则化最小二乘解bw = (XTX + NλI)−1 Xt之间存在相似性。对于这个特定的例子，找出使两者相同的先验协方差矩阵Σ0。换句话说，用λ表示Σ0。

为使后验均值 $\mu_w$ 与正则化最小二乘解 $b_w$ 相同，我们让 $\mu_w$ 表达式中与 $b_w$ 对应的部分相等。

假设 $\sigma^2 = 1$，对于后验均值
$$
\mu_w = (X^T X + \Sigma_0^{-1})^{-1} X^t
$$
和正则化最小二乘解
$$
b_w = (X^T X + N\lambda I)^{-1} X^t
$$
可得
$$
\Sigma_0^{-1} = N\lambda I
$$
那么
$$
\Sigma_0 =