Conjugate prior-共轭先验的解释

一 问题来源：

看PRML第二章时遇到的。

二 问题描述：

PRML第68页说：“We shall see that an import role is played by conjugate priors, that lead to posterior distributions having the same functional form as the prior , and that therefore lead to a greatly simplified Bayesian analysis.”

三 解释：我们看到，共轭先验在贝叶斯推理中具有重要意义，它使得后验分布和先验具有相同的函数形式。现在假设我们有这样几类概率：

p(θ)（先验分布）,

p(θ|X)（后验分布）,

p(X), 

p(X|θ) （似然函数）.

它们之间的关系可以通过贝叶斯公式进行连接： 后验分布 = 似然函数* 先验分布/ P(X)。之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同，这样一方面合符人的直观（它们应该是相同形式的；另外一方面是可以形成一个先验链，即现在的后验分布可以作为下一次计算的先验分布，如果形式相同就可以形成一个链条。为了使得先验分布和后验分布的形式相同，我们定义：如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式，那么就称先验分布与似然函数是共轭的。所以共轭是指：先验分布和似然函数共轭。

四 常见的几个先验分布与其共轭分布：

五 Conjugate prior的意义：

使得贝叶斯推理更加方便，比如在Sequential Bayesian inference（连续贝叶斯推理）中，得到一个observation之后，可以算出一个posterior（后验）。由于选取的是Conjugate prior共轭先验，因此后验和原来先验的形式一样，可以把该后验当做新的先验，用于下一次observation，然后继续迭代。