现代数字信号处理I-极大似然估计 学习笔记

目录

1. 极大似然估计的模型介绍

2. 极大似然估计可以达到CRLB的说明

2.1 前期准备：符号定义及说明

 2.2 中心极限定理

2.3 大数定理

2.4 说明思路

2.5 具体过程

---

说明：此部分内容在2024版本的课程中没有提供，需要参考2023之前的课程：

第四讲_1_哔哩哔哩_bilibili

1. 极大似然估计的模型介绍

假定获得n个点的采集数据

上述数据都是独立同分布，那么上述采集数据的联合分布为：

上述函数在估计领域被称为似然函数。

关于似然与概率函数的进一步理解，可以参考：

https://zhuanlan.zhihu.com/p/42598338

对于极大似然估计，用数学语言描述为：

上述描述可以理解为：根据已知的独立同分布函数（或者也称为数据模型） ，以及已知的观测到的采样数据 ，获得上述采样数据的似然函数，显然，该似然函数是关于 的一个函数。极大似然在寻找使得似然函数达到最大值对应的 ，该值对应的就是极大似然估计量 。

极大似然的核心：存在即合理，因为数据已经客观的被观测到了，因此我们寻求一个 ，使得他们被观测到的概率尽可能的大。

2. 极大似然估计可以达到CRLB的说明

2.1 前期准备：符号定义及说明

        上述过程与去对数后一致(去对数是单调增函数)，即：

         引入符号,简化似然函数：

        因此，整体似然函数可以表示为：

        上述函数定义中，加入了 系数，该系数是不会改变 最大值的求解，只是为了方便后续的推导：

        极大似然估计中，最大值对应的导数为零，因此存在：

        现在观察估计误差，即：

我们希望当观察数据增大，趋近于无穷的时候，上述误差可以接近于0，即：

 2.2 中心极限定理

        中心极限定理： 独立同分布（具体分布未知），且 ， ,那么存在：

具体参考：

【概率论】6-3:中心极限定理(The Central Limit Theorem)-优快云博客

        可以看成，利用中心极限定理之后，将不规则的随机性（未知分布）转换成了规则的随机性（高斯分布），即随机性趋于高斯分布。

2.3 大数定理

         独立同分布（同样分布未知），且 ，那么：

可以看成，大数定理之后，随机性消失了。

2.4 说明思路

构造符合中心极限定理的形式，使得该构造趋于高斯分布即：

 然后求该高斯分布的方差，并与Fisher信息量进行比较，说明该极大似然估计还趋于CRLB。

2.5 具体过程

        首先，我们对上述似然函数求导，即：

        同时，该导数在 上展开，同时利用拉格朗日中值定理的形式：

其中，

        拉格朗日中值定理，参考：

https://zhuanlan.zhihu.com/p/147640582

        根据极大似然估计性质，

        因此，写成与中心极限定理相同形式：

         根据似然函数定义：

        计算期望：

        

在大部分工程问题情况下，求导和积分顺序可以互换，详细一点的，可以参考：

https://www.zhihu.com/question/27311619?sort=created

因此：

基于上述性质，我们构造：

         根据中心极限定理观察分子：根据 ，因此：

而：

即fisher信息量。

        而分母：

此时符合大数定理，因此：

        如果：

那么：

上述过程证明较为繁琐，此处就当结论使用。

如果上述结论成立，此时：

也就是说，当 趋近于 ，需要注意的是 是不具备随机性的。

最终：

        当 ，分子趋近于一个高斯分布，即：

        而分母趋近于没有随机性的 ，根据高斯分布特性：

那么如果

其中 是没有随机性的一个确定性数。

因此：当

        根据CRLB方差下限的定义，可以发现极大似然估计，可以渐近的达到CRLB，是渐近的有效估计。