数据挖掘中所需的概率论与数理统计知识（补充）

1.极大似然估计原理详解：

2.共轭先验：

先验概率通常是主观的猜测，为了使计算后验概率方便，有时候会选择共轭先验。如果后验概率和先验概率是同一族的，则认为它们是共轭分布，这个先验概率就是对应于似然函数的共轭先验。

贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响，而引入先验信息的手段有“贝叶斯原则“（即把先验信息当着均匀分布）等四大类

其中有重要影响的一类是：共轭先验

现在假设我们有这样几类概率：P(\theta)（先验分布）, p(\theta|X)（后验分布）, p(X), p(X|\theta) （似然函数）

它们之间的关系可以通过贝叶斯公式进行连接： 后验分布 = 似然函数* 先验分布/ P(X)

之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同，这样一方面合符人的直观（它们应该是相同形式的）另外一方面是可以形成一个先验链，即现在的后验

分布可以作为下一次计算的先验分布，如果形式相同，就可以形成一个链条。

为了使得先验分布和后验分布的形式相同，我们定义：

如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式，那么就称先验分布与似然函数是共轭的

所以回答文章开头提出的问题：共轭是指的先验分布和似然函数

很容易造成误解是会以为后验分布和先验分布共轭或者后验分布和似然函数共轭。

 

3. 贝叶斯推断：

统计推断是基于现实世界观察到的特征而得到的有关世界的不可观察属性的结论，通常被称为假设检验。在统计学中，不可观察的特征通常被称做参数，而观察到的特征则被称做数据或样本信息。贝叶斯统计推断是允许调查者在评估统计假说时以逻辑一致的方式既使用样本信息又使用先验信息的一种方法。

与非贝叶斯推断相比，贝叶斯推断的显著特征是对先验信息进行贝叶斯式利用。先验信息可能基于先前的研究成果、理论或者是主观信念。术语“贝叶斯”是指贝叶斯定理，它是以英国长老会部长及数学家托玛斯·贝叶斯(Thomas Bayes，1702-1761)的名字命名的贝叶斯定理描述了先验信息如何能以一种概率方式与样本信息结合在一起。贝叶斯定理有时也被称为逆概率定理，它是贝叶斯学习模型的基础。它允许初始的和以前的样本信息与现在的样本信息相结合，以产生后验数据或后验分布。刻画先验信息特征的概率分布函数(pdf)被称为先验概率分布函数。刻画样本信息特征的函数被称为似然函数。贝叶斯定理给出的结论是，后验概率分布函数与先验概率分布函数和似然函数之间的乘积成比例。通过乘积，贝叶斯定理把样本和先验信息结合起来，把二者加以平均。只要有先验信息来源，贝叶斯定理的这一特殊平均机制在计最经济学估计和预测中就有重要的意义。

贝叶斯推断也可以被认为是一个动态处理过程，因为这一过程从先验信息开始，收集以样本信息为形式的证据，并以后验分布作为结束。这一后验分布可以作为新的先验分布与新的样本信息相结合口这就是从先验到后验转换过程的贝叶斯学习模型。

4. Exponential Family：

Exponential Family是一类非常普遍的概率密度函数族，其最简单的形式如下所示：

事实上很多我们熟知的概率分布都属于Exponential Family，例如正态分布：

 

在Exponential Family中，函数A与T之间有着紧密的联系，事实上考虑Canonical的Exponential Family，即theta等于eta的时候，有下式成立：

事实上，在概率统计理论中，这里的T(x)是x的sufficient statistics，一般意义上来说Sufficient Statistics是指对于一个参数化的概率分布，E[T(x)]给出了关于参数theta的所有信息，即theta和x独立，conditioned on E[T(x)]。

由于T(x)是x的sufficient statistics，所以我们只需要用到E[T(x)]的信息即可计算出theta，因此在MAP Estimation中我们只需用到T(x)的Empirical Expectation，这使得我们的需要存储的信息量大大减少。事实上，考虑概率密度函数：

我们计算它的log-likelihood：

对两端进行求导，令其等于0：

应用之前的结论，我们有：

在Bayesian setting中，我们需要考虑eta的prior distribution，并通过数据计算出eta的posterior distribution，一个distribution family的conjugate distribution是指对于某类概率密度函数，其prior若属于该conjugate distribution，则posterior也属于同一类conjugate distribution。

对于Exponential Family来说，若其概率密度函数如下所示：

则其conjugate distribution如下所示：