共轭分布和共轭先验

---

前言

共轭分布是统计机器学习特别是贝叶斯学派一个非常重要的概念，以往在很多地方遇到的时候都一笔带过了，仅仅了解了一个大概，这里将二项分布与Beta分布、正太分布的共轭性质推导了一遍，记录下来加深理解。

---

一、贝叶斯定理与共轭分布的定义回顾

贝叶斯公式

$$P(y|x)=\frac{P(x|y)\ast P(y)}{P(x)}\text{\hspace{1em}(1)}$$

其中：

• $P(y|x)$为后验分布(posterior)：给定$x$后，变量$y$的分布；
• $P(y)$为先验分布(prior)：变量$y$自身的分布；
• $P(x|y)$为似然(likelihood)：给定$y$后，变量$x$的分布；
• $P(x)$为变量$x$的先验分布(evidence)：观测到的$x$的分布，一般为常数。

边缘概率与联合概率

$x$为离散变量时：
P ( y ) = ∑ x ∈ { 1 , 2 , . . . , } P ( x , y ) = ∑ x ∈ { 1 , 2 , . . . , } P ( y ∣ x ) ∗ P ( x ) (2) P(y) = \sum_{x\in\{1,2,...,\}}P(x,y)= \sum_{x\in\{1,2,...,\}}P(y|x) * P(x) \tag{2} P(y)=x∈{1,2,...,}∑​P(x,y)=x∈{1,2,...,}∑​P(y∣x)∗P(x)(2)
$x$为连续变量时：
$$P(y)={\int }_{x}P(x,y)dx={\int }_{x}P(y|x)\ast P(x)dx\text{\hspace{1em}(3)}$$

共轭分布

In Bayesian probability theory, if the posterior distribution $p(\theta |x)$ is in the same probability distribution family as the prior probability distribution $p(\theta )$, the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function $p(x|\theta )$.
在贝叶斯统计中，如果后验分布与先验分布属于同类（分布形式相同），则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的共轭先验。

这是共轭分布的基本定义，需要注意里面几个点：

• 后验分布与先验分布属于同类分布：要求后验分布与先验分布是同类分布，不要求似然函数分布相同。
• 先验分布与后验分布被称为共轭分布：先验分布与后验分布被称为共轭分布。
• 先验分布被称为似然函数的共轭先验：先验分布是似然函数的共轭先验。

---

二、二项分布与Beta分布

二项分布的共轭先验是Beta分布，即：当先验分布为Beta分布，似然为二项分布时，其后验分布也为Beta分布。

套用一下上面的定义：当先验分布为Beta分布（记为分布A），似然为二项分布（记为分布B）时，其后验分布也是Beta分布（记为分布C），则先验分布A与后验分布C为共轭先验，先验分布A是似然函数B的共轭先验，即：Beta分布是二项分布的共轭先验。

假设先验分布服从Beta分布

先验分布$P(y)$服从Beta分布$Be(\alpha ,\beta )$，即:
$$P(y)=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{y}^{\alpha -1}(1-y{)}^{\beta -1}\text{\hspace{1em}(4)}$$
其中$\Gamma (\alpha )$为Gamma函数，当$\alpha$为整数时，$\Gamma (n)=(n-1)!$；在实数域内，$\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{e}^{-t}dt$。
$P(y)$为概率密度函数，自然的我们有：
$${\int }_y\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{y}^{\alpha -1}(1-y{)}^{\beta -1}dy=1\text{\hspace{1em}(5)}$$

假设似然服从二项分布

似然$P(x|y)$为二项分布，似然为给定变量$y$的情况下，变量$x$的分布，这里我们让变量$x$服从$B(n,y)$的二项分布，即：
$$P(x|y)=C_n^x{y}^x(1-y{)}^{n-x}\text{\hspace{1em}(6)}$$
基于上面Gamma函数的定义，$P(x|y)$可以改写为：
$$P(x|y)=\frac{\Gamma (n)}{\Gamma (x)\Gamma (n-x)}{y}^x(1-y{)}^{n-x}\text{\hspace{1em}(7)}$$

变量$x$的先验分布

$$\begin{array}{rl}P(x)& ={\int }_{y}P(x,y)dy\\ & ={\int }_{y}P(x|y)\ast P(y)dy\\ & ={\int }_y\frac{\Gamma (n)}{\Gamma (x)\Gamma (n-x)}{y}^x(1-y{)}^{n-x}\ast \frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{y}^{\alpha -1}(1-y{)}^{\beta -1}dy\\ & ={\int }_y\frac{\Gamma (n)\Gamma (\alpha +\beta )}{\Gamma (x)\Gamma (n-x)\Gamma (\alpha )\Gamma (\beta )}{y}^{(x+\alpha )-1}(1-y{)}^{(n-x+\beta )-1}dy\\ & =\frac{\Gamma (n)\Gamma (\alpha +\beta )}{\Gamma (x)\Gamma (n-x)\Gamma (\alpha )\Gamma (\beta )}{\int }_y{y}^{(x+\alpha )-1}(1-y{)}^{(n-x+\beta )-1}dy\end{array}\text{\hspace{1em}(8)}$$
由式子5有：
$${\int }_y{y}^{(x+\alpha )-1}(1-y{)}^{(n-x+\beta )-1}dy=\frac{\Gamma (x+\alpha )\Gamma (n-x+\beta )}{\Gamma (n+\alpha +\beta )}$$
于是：
$$P(x)=\frac{\Gamma (n)\Gamma (\alpha +\beta )}{\Gamma (x)\Gamma (n-x)\Gamma (\alpha )\Gamma (\beta )}\ast \frac{\Gamma (x+\alpha )\Gamma (n-x+\beta )}{\Gamma (n+\alpha +\beta )}\text{\hspace{1em}(9)}$$

后验概率分布

结合式子4、6、9，我们有：
$$\begin{array}{rl}P(y|x)& =\frac{P(x|y)\ast P(y)}{P(x)}\\ & =\frac{\Gamma (n)}{\Gamma (x)\Gamma (n-x)}{y}^x(1-y{)}^{n-x}\ast \frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{y}^{\alpha -1}(1-y{)}^{\beta -1}\ast \frac{\Gamma (x)\Gamma (n-x)\Gamma (\alpha )\Gamma (\beta )}{\Gamma (n)\Gamma (\alpha +\beta )}\ast \frac{\Gamma (n+\alpha +\beta )}{\Gamma (x+\alpha )\Gamma (n-x+\beta )}\\ & =\frac{\Gamma (n+\alpha +\beta )}{\Gamma (x+\alpha )\Gamma (n-x+\beta )}{y}^{(x+\alpha )-1}(1-y{)}^{(n-x+\beta )-1}\end{array}$$
后验分布$P(y|x)$服从Beta分布$Be(x+\alpha ,n-x+\beta )$，得出前面给出的结论：

当先验分布为Beta分布，似然为二项分布时，其后验分布也为Beta分布。

---

三、正太分布的共轭先验

正太分布的共轭先验也是正太分布，即：当先验分布为正太分布，似然也为正太分布时，其后验分布也为正太分布。

假设先验分布服从正太分布

先验分布$P(y)$服从正太$N(\mu ,{\sigma }^2)$，即:
$$P(y)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y-\mu {)}^2}{2{\sigma }^2})\text{\hspace{1em}(10)}$$
对于正太分布，我们有：
$${\int }_y\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y-\mu {)}^2}{2{\sigma }^2})dy=1\text{\hspace{1em}(11)}$$

假设似然服从正太分布

似然$P(x|y)$服从正太分布，这里为了不失一般性，假设似然$P(x|y)$服从$N(ay+b,{\lambda }^2)$的正太分布，即给定变量$y$，变量$x$服从均值为$y$的线性变换$ay+b$、方差为${\lambda }^2$的正太分布：
$$P(x|y)=\frac{1}{\sqrt{2\pi }\lambda }exp(-\frac{(x-(ay+b){)}^2}{2{\lambda }^2})\text{\hspace{1em}(12)}$$

变量$x$的先验分布

$$\begin{array}{rl}P(x)& ={\int }_{y}P(x,y)dy\\ & ={\int }_{y}P(x|y)\ast P(y)dy\\ & ={\int }_y\frac{1}{\sqrt{2\pi }\lambda }exp(-\frac{(x-(ay+b){)}^2}{2{\lambda }^2})\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y-\mu {)}^2}{2{\sigma }^2})dy\\ & =\frac{1}{\sqrt{2\pi }\lambda }\frac{1}{\sqrt{2\pi }\sigma }{\int }_{y}exp(-\frac{(x-(ay+b){)}^2}{2{\lambda }^2}-\frac{(y-\mu {)}^2}{2{\sigma }^2})dy\end{array}\text{\hspace{1em}(13)}$$
式子内部对变量$y$求积分，我们将其他变量移出指数函数，有：
$$\begin{array}{rl}P(x)& =\frac{1}{\sqrt{2\pi }\lambda }\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{\sigma }^2{\lambda }^2{\mu }^2(x-b{)}^2-\frac{[a{\lambda }^2(x-b)+\mu {\lambda }^2{]}^2}{a^2{\sigma }^2+{\lambda }^2}}{2{\sigma }^2{\lambda }^2}){\int }_{y}exp(-\frac{(y-\frac{a{\sigma }^2(x-b)+{\lambda }^2\mu }{a^2{\sigma }^2+{\lambda }^2}{)}^2}{\frac{2{\lambda }^2{\sigma }^2}{a^2{\sigma }^2+{\lambda }^2}})dy\end{array}$$
由正太分布的概率密度积分（公式11）我们有：
$${\int }_{y}exp(-\frac{(y-\frac{a{\sigma }^2(x-b)+{\lambda }^2\mu }{a^2{\sigma }^2+{\lambda }^2}{)}^2}{\frac{2{\lambda }^2{\sigma }^2}{a^2{\sigma }^2+{\lambda }^2}})dy=\sqrt{2\pi }\lambda \sigma \frac{1}{\sqrt{a^2{\sigma }^2+{\lambda }^2}}$$
于是有：
$$\begin{array}{rl}P(x)& =\frac{1}{\sqrt{2\pi }\lambda }\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{\sigma }^2{\lambda }^2{\mu }^2(x-b{)}^2-\frac{[a{\lambda }^2(x-b)+\mu {\lambda }^2{]}^2}{a^2{\sigma }^2+{\lambda }^2}}{2{\sigma }^2{\lambda }^2})\ast \sqrt{2\pi }\lambda \sigma \frac{1}{\sqrt{a^2{\sigma }^2+{\lambda }^2}}\\ & =\frac{1}{\sqrt{2\pi }\sqrt{a^2{\sigma }^2+{\lambda }^2}}exp(-\frac{{\sigma }^2{\lambda }^2{\mu }^2(x-b{)}^2(a^2{\sigma }^2+{\lambda }^2)-[a{\lambda }^2(x-b)+\mu {\lambda }^2{]}^2}{2{\sigma }^2{\lambda }^2(a^2{\sigma }^2+{\lambda }^2)})\\ & =\frac{1}{\sqrt{2\pi }\sqrt{a^2{\sigma }^2+{\lambda }^2}}exp(-\frac{{\sigma }^2{\lambda }^2(x-(a\mu +b){)}^2}{2{\sigma }^2{\lambda }^2(a^2{\sigma }^2+{\lambda }^2)})\\ & =\frac{1}{\sqrt{2\pi }\sqrt{a^2{\sigma }^2+{\lambda }^2}}exp(-\frac{(x-(a\mu +b){)}^2}{2(a^2{\sigma }^2+{\lambda }^2)})\end{array}$$
最终可以得出结论：变量$x$服从$N(a\mu +b,a^2{\sigma }^2+{\lambda }^2)$的正太分布。

后验概率分布

$$\begin{array}{rl}P(y|x)& =\frac{P(x|y)\ast P(y)}{P(x)}\\ & =\frac{\frac{1}{\sqrt{2\pi }\lambda }exp(-\frac{(x-(ay+b){)}^2}{2{\lambda }^2})\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y-\mu {)}^2}{2{\sigma }^2})}{\frac{1}{\sqrt{2\pi }\sqrt{a^2{\sigma }^2+{\lambda }^2}}exp(-\frac{(x-(a\mu +b){)}^2}{2(a^2{\sigma }^2+{\lambda }^2)})}\\ & =\frac{1}{\sqrt{2\pi }\frac{\sigma \lambda }{\sqrt{(a^2{\sigma }^2+{\lambda }^2)}}}exp(-\frac{(x-(ay+b){)}^2}{2{\lambda }^2}-\frac{(y-\mu {)}^2}{2{\sigma }^2}+\frac{(x-(a\mu +b){)}^2}{2(a^2{\sigma }^2+{\lambda }^2)})\\ & =\frac{1}{\sqrt{2\pi }\frac{\sigma \lambda }{\sqrt{(a^2{\sigma }^2+{\lambda }^2)}}}exp(-\frac{((a^2{\sigma }^2+{\lambda }^2)y-(\mu {\lambda }^2+a{\sigma }^2(x-b)){)}^2}{2{\sigma }^2{\lambda }^2(a^2{\sigma }^2+{\lambda }^2)})\\ & =\frac{1}{\sqrt{2\pi }\frac{\sigma \lambda }{\sqrt{(a^2{\sigma }^2+{\lambda }^2)}}}exp(-\frac{(y-\frac{(\mu {\lambda }^2+a{\sigma }^2(x-b))}{(a^2{\sigma }^2+{\lambda }^2)}{)}^2}{\frac{2{\sigma }^2{\lambda }^2}{(a^2{\sigma }^2+{\lambda }^2)}})\end{array}$$
可以看出，后验概率$P(y|x)$服从$N(\frac{(\mu {\lambda }^2+a{\sigma }^2(x-b))}{(a^2{\sigma }^2+{\lambda }^2)},\frac{{\sigma }^2{\lambda }^2}{(a^2{\sigma }^2+{\lambda }^2)})$的正太分布，得出前面给出的结论：

当先验分布为正太分布，似然也为正太分布时，其后验分布也为正太分布。

总结

本文简单推导了一下二项分布与Beta分布、正太分布的共轭性质，主要都是基于贝叶斯定理的简单推导，后续还有一些扩展到多维的内容，比如多项分布与狄利克雷分布、多维正太分布，后面有时间再推理记录。