机器学习之先验分布，后验分布，共轭先验分布

共轭先验分布的提出：某观测数据服从概率分布p(θ），当观测到新的数据时，思考下列问题：

1.能否根据新观测数据X更新参数θ；

2.根据新观测的数据可以在多大的程度上改变参数θ：θ=θ+rθ；

3.当重新估计得到θ时，给出的新参数数值θ的新概率分布p(θ|x)；

分析：根据贝叶斯公式：p(θ|x)=p(x|θ)p(θ) / p(x),其中p(x|θ)是在已知θ的情况下估计x的概率分布，又称似然函数；p(θ)是原有的θ的概率分布；要想利用观测到的数据更新参数θ，就要使更新后的p(θ|x)和p(θ)服从相同的分布，所以p(θ)和p(θ|x)形成共轭分布，p(θ)叫做p(θ|x)的共轭先验分布。

举个投硬币的例子：使用参数θ的伯努利模型，θ为正面的概率，则结果为x的概率分布为：p(x|θ)=
θx(1−θ)1-x

伯努利模型的共轭先验分布为beta分布，常见的共轭先验分布有：