18、概率与分布：变量变换与逆变换解析

概率与分布：变量变换与逆变换解析

1. 共轭先验与指数族分布

在概率分布的研究中，规范共轭先验具有特定的形式：
[p(\mu | \alpha, \beta) = \frac{\mu}{1 - \mu} \exp \left[ \alpha \log \frac{\mu}{1 - \mu} + (\beta + \alpha) \log(1 - \mu) - A c(\gamma) \right]]
其中，(\gamma := [\alpha, \beta + \alpha]^{\top}) 且 (h_c(\mu) := \frac{\mu}{1 - \mu})。经过简化，可得到：
[p(\mu | \alpha, \beta) = \exp [(\alpha - 1) \log \mu + (\beta - 1) \log(1 - \mu) - A c(\alpha, \beta)]]
再将其转化为非指数族形式：
[p(\mu | \alpha, \beta) \propto \mu^{\alpha - 1}(1 - \mu)^{\beta - 1}]
这正是 Beta 分布。通过研究伯努利分布的规范共轭先验的指数族形式，我们推导出了 Beta 分布的形式。

指数族分布的主要优势在于其具有有限维的充分统计量。同时，共轭分布易于表示，且也来自指数族。从推断的角度看，最大似然估计表现良好，因为充分统计量的经验估计是总体充分统计量值的最优估计。从优化的角度看，对数似然函数是凹函数，便于应用高效的优化方法。

2. 变量变换与逆变换的必要性

虽然已知的概率分布众多，但实际上有名称的分布集合是有限的。因此，