4、概率分布拟合方法：从最大似然到贝叶斯推断

概率分布拟合方法：从最大似然到贝叶斯推断

在数据分析和统计学中，我们常常需要将概率分布拟合到给定的数据上，以此预测新数据点的概率。本文将介绍三种常见的拟合方法：最大似然估计（ML）、最大后验估计（MAP）和贝叶斯方法，并通过单变量正态分布和分类分布的实例深入探讨这些方法的应用。

单变量正态分布的拟合

最大后验估计（MAP）

最大后验估计旨在找到使后验概率最大的参数值。我们选择正态逆伽马先验，其参数为 $\alpha$、$\beta$、$\gamma$ 和 $\delta$，因为它与正态分布是共轭的。成本函数如下：
$\hat{\mu}, \hat{\sigma}^2 = \text{argmax} {\mu,\sigma^2} \left[ \prod {i=1}^{I} \text{Pr}(x_i|\mu,\sigma^2)\text{Pr}(\mu,\sigma^2) \right] = \text{argmax} {\mu,\sigma^2} \left[ \prod {i=1}^{I} \text{Norm} {x_i}[\mu,\sigma^2]\text{NormInvGam} {\mu,\sigma^2}[\alpha,\beta,\gamma,\delta] \right]$
先验的表达式为：
$\text{Pr}(\mu,\sigma^2) = \frac{\sqrt{\gamma}}{\sigma\sqrt{2\pi}} \frac{\beta^{\alpha}}{\Gamma(\alpha)} \left( \frac{1}{\sigma^2} \right)