贝叶斯估计及其派生估计准则（极大似然、最大后验证、最小均方）

1.4.0 参数估计基础

在实际问题中，发现信号的基础上，还需要测定信号的参数，但由于信号要受到随机噪声的污染，不可能精确的测定信号的参数，需要使用统计估计的方法尽可能精确地对其估计。如果信号参数是随机变量或非随机的未知量，则称为信号的参数估计；若被估计量是随机过程或者非随机的未知过程，则称为波形估计或状态估计。因此，信号的参数估计是指被估计参数在观测时间内不随时间变化，属静态估计；波形或状态估计涉及的信号参数是随时间变化的，属动态估计。

为了对信号的参数做出估计，需要获得观测数据。设观测方程为

，k=1,2,…,N

其中， 是第k次观测值； 是被估计量；是第k次测量噪声；是已知的观测系数。

现在的问题是根据N次观测值

按照某种最佳估计准则，对参数做出估计。即构造一个观测量的函数，即，作为参数的估计值。

如果被估计量是p维矢量，那么观测方程一般可以表示为

，k=1,2,…,N

式中，是第k次观测的q维观测矢量，是p维被估计矢量，是第k次观测的q维观测噪声矢量，是 阶观测矩阵。

信号参数估计的统计模型

 

1.4.1 常用代价函数与贝叶斯估计

在信号估计问题中，因为被估计问题θ和估计量是连续随机变量。所以每一对 分配一个代价函数。代价函数C是θ和两个变量的函数。

但实际上，我们把它规定为误差的函数，即，是估计误差的但变量函数。

 

The cost function C(x) is typically one of the following ：

1.4.1.1 误差平方代价函数(Quadratic Cost Solution)

(MMSE estimator)

 

 

1.4.1.2 误差绝对值代价函数(Absolute Cost Solution)

(posteriori median estimator)

 

1.4.1.3 均匀代价函数(Hit-or-miss)

(Maximum a Posteriori (MAP) estimator)

除上述三种之外，还可以选择其他形式的代价函数，但无论何种形式的代价都应满足两个特性：非负性和误差趋于零的最小性。

1.4.1.4 贝叶斯估计

被估计量 是随机变量，其先验概率密度为 ，那么是随机参量 和观测量z的函数，因此，平均代价 为：

使平均代价最小的估计就是贝叶斯估计。

利用概率论中的条件概率公式

平均代价公式可改写为

由于上式对的内积分非负，因而C最小等效为内积分最小，即

称为条件平均代价。它对求最小，就能得到参量的贝叶斯估计

Bayesian estimators are defined by a minimization problem which seeks for the value of  that minimizes the average cost.

1.4.2 最小均方误差估计

使用平方代价函数的贝叶斯估计使最小均方误差估计

 

推导：

将平方代价函数的条件平均代价用表示，

使条件平均代价最小的一个必要条件是上式对，求导并令结果等于0来求得最佳的，即

因为

所以

 

求二阶导

故是对应的平均代价的极小值，由于它使均方误差估计最小，因而称为最小均方误差估计。由于也是 的条件均值 ，故最小均方误差估计又称条件均值估计。

1.4.3最大后验估计

对于均匀代价函数，条件平均代价用表示为

其中是使条件代价最小的估计量，欲使最小，需使右边积分值最大。应当选择使它处于后验概率密度最大处的值，这样求得的估计量称为最大后验概率估计，记为。

 

如果最大值处于的允许范围内，且有连续的一阶导数，则获得最大值的必要条件是

因为自然对数是自变量的单调函数，所以有

上式称为最大后验方程，利用上式求解时，每一种情况下都需要检验所求得的解是否绝对最大。

1.4.4 最大似然估计

利用贝叶斯公式

将最大后验方程写成

当被估计量是未知先验分布的随机参量或是非随机未知参量时，上式含有未知量，不能采用上式求估计值。这时设想只用其中的第一项，即取似然函数的最大值对应的作为估计量，则称之为最大似然估计，其估计量记为，可由方程：

或

求得。第二个对数求导公式称为最大似然方程。

由于ML没有或不能利用被估计参量的先验知识，因而其估计质量一般说要比贝叶斯估计差，也就是说，比最大后验估计差。

 

 

一个例子看懂最大后验（使用Hit or Miss代价函数的贝叶斯估计）和极大似然的区别

 

小明今天没来上学，三个可能的Hypothesis（θ）：

 

小明今天生病了  /  美国总统特朗普会见小明  /  地球遭受陨石撞击

 

用极大似然（MLE）估计出来的θ_hat(对θ的估计)是“地球遭受陨石撞击”，因为

 

Likelihood（小明今天没来上学|地球遭受陨石撞击）= 1

 

而用最大后验求出来的是“小明今天生病了”，因为考虑了先验——“地球毁灭”和“特朗普会见小明”的概率都远低于“小明今天生病了”。

 

用“奥卡姆剃刀”解释这个现象是模型越复杂（宇宙模型》国际关系模型》生活模型），出现的（先验）概率越低。