贝叶斯统计（1）：基本概念

里奥利弗

于 2025-03-05 14:37:50 发布

阅读量349

点赞数 6

分类专栏：贝叶斯统计文章标签：概率论学习

本文链接：https://blog.youkuaiyun.com/DO_Lee/article/details/146036765

版权

贝叶斯统计专栏收录该内容

1 篇文章

订阅专栏

总体信息：总体分布或总体所属分布簇提供的信息
样本信息：从总体中抽取出的样本提供的信息
先验信息：在抽样之前对事件的认知，主要来源于经验和历史资料
经典统计学：基于总体信息和样本信息；未知量是固定的未知常数
贝叶斯统计学：在总体信息和样本信息的基础上，引入先验信息；未知量是一个随机变量
先验分布：使用先验信息加工（计算）得到的分布，描述抽样前未知量的未知状况
后验分布：使用总体信息、样本信息和先验信息加工（计算）得到的分布，更新对未知量的认知状况。

1.贝叶斯公式

$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$

后验概率P(A|B)：在事件B发生的情况下，事件A发生的概率
先验概率P(A)：事件A发生的概率
P(B|A)：在事件A发生的情况下，事件B发生的概率
P(AB)=P(B|A)P(A)：事件A和事件B同时发生的概率
P(B)：事件B发生的概率

2.贝叶斯公式的一般形式

假设随机变量X的总体分布依赖于参数θ，在贝叶斯统计中，其密度函数记为 p(x|θ)
根据参数θ的先验信息确定其先验分布 π(θ)
假设给定参数 θ=θ'，由此可从总体分布 p(x|θ') 中产生样本 x=(x1,...,xn)，样本的联合密度函数（似然函数）为 $p(\boldsymbol{x}|\theta') = \prod_{i = 1}^{n} p(x_i|\theta')$ 。现在，不给定参数 θ，结合 θ 的先验分布，得到样本 x 和参数 θ 的联合密度函数 h(x,θ)=p(x|θ)π(θ)。
样本 x 的边缘密度函数 $m(\boldsymbol{x}) = \int_{\Theta} h(\boldsymbol{x},\theta)d\theta$ ，表示样本 x 在整个参数 Θ 空间上发生的概率。
综合可得，贝叶斯公式的一般形式：

$\pi(\theta|\boldsymbol{x})=\frac{h(\boldsymbol{x},\theta)}{m(\boldsymbol{x})}=\frac{p(\boldsymbol{x}|\theta)\pi(\theta)}{\int_{\Theta}p(\boldsymbol{x}|\theta)\pi(\theta)d\theta}$

π(θ|x)是参数 θ 的后验分布（对应后验概率P(A|B) ），π(θ)是参数 θ 的先验分布（对应先验概率 P(A) ），p(x|θ)（对应 P(B|A) ），m(x) （对应 P(B) ）
公式综合了总体信息（事先假设总体分布形式）、样本信息（似然函数、边缘米杜安函数）、先验信息（参数的先验分布）
离散形式：

$\pi(\theta_j|\boldsymbol{x})=\frac{p(\boldsymbol{x}|\theta_j)\pi(\theta_j)}{\sum_{i} p(\boldsymbol{x}|\theta_i)\pi(\theta_i)},j = 1,2,\cdots$

3.后验分布的计算

为研究产品质量，我们从一批产品中抽取 8 个产品进行检验，结果发现 3 个不合格品。现设θ是这批产品的不合格率，并且先验分布有两种情形：

(1) $\theta\sim U(0,1)$ ， (2) $\theta\sim\pi(\theta)= \begin{cases}2(1 - \theta),&\theta\in(0,1)\\0,&\theta\notin(0,1)\end{cases}$

试分别求θ的后验分布。下面以（1）为例。

Step 1：写出先验分布、总体分布的密度函数，样本的联合密度函数

$\pi(\theta)= \begin{cases}1, &0 < \theta < 1\\0, &\text{others}\end{cases}$

$P(X = x|\theta)=\binom{n}{x}\theta^{x}(1 - \theta)^{n - x},x = 0,1,\cdots,n$

Step 2：计算样本和参数的联合密度函数h(x,θ)

$h(x,\theta)=\binom{n}{x}\theta^{x}(1 - \theta)^{n - x},x = 0,1,\cdots,n. \ 0 < \theta < 1$

Step 3*：计算样本的边缘密度函数m(x)

$m(x)=\binom{n}{x}\int_{0}^{1}\theta^{x}(1 - \theta)^{n - x}d\theta=\binom{n}{x}\frac{\Gamma(x + 1)\Gamma(n - x + 1)}{\Gamma(n + 2)},x = 0,1,\cdots,n$

$p(x)=\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha - 1}(1 - x)^{\beta - 1}, \quad 0\leqslant x\leqslant 1$

在计算积分部分时，要结合常用概率分布的密度函数。注意到Beta分布的密度函数中 $x^{\alpha - 1}(1 - x)^{\beta - 1}$ 与积分部分中的 $\theta^{x}(1 - \theta)^{n - x}$ 相似，将积分部分改写成Beta分布密度函数的形式，其在0到1上的积分为1，即可快速计算出m(x)。

Step 4：应用贝叶斯公式求后验分布

$\pi(\theta|x)=\frac{h(x,\theta)}{m(x)}=\frac{\Gamma(n + 2)}{\Gamma(x + 1)\Gamma(n - x + 1)}\theta^{(x + 1)-1}(1 - \theta)^{(n - x + 1)-1},0<\theta<1$