一、极大似然法估计
极大似然法估计是以观测值出现的概率为最大作为估计准则的,它是一种觉的参数估计方法。
设 是连续随机变量,其分布密度为 ,含有 个未知参数 。把 个独立观测值 分别代入 中的 ,则得

将所得的 个函数相乘,得
(11-20)
称函数 为似然函数。当 固定时, 是 的函数。极大似然法的实质就是求出使 达到极大时的 的估值 。从式(11-20)可看到 是观测值 的函数。
为了便于求出使 达到极大的 ,对式(11-20)取对数,则
(11-21)
由于对数函数是单调增加函数,因此当 取极大值时, 也同时取极大值,将上式分别对 求偏导数,令偏导数等于零,可得下列方程组:
(11-22)
解上述方程组,可得使 达到极大值的 。按极大似然法确定的 ,使 最有可能出现,并不需要 的验前知识,即不需要知道 的概率分布密度和一、二阶矩。
例11-1 设有正态分布随机变量 ,给出 个观测值 。观测值相互独立,试根据这 个观测值,确定分布密度中的各参数。
解 的分布密度可用下式表示:

式中的 和 为未知参数。现有极大似然法来确定参数 和 。作似然函数:

对上式取对数,可得

将上式分别对 和 求偏导数,令偏导数等于零,可得


联立求解可得

上面介绍了极大似然法的基本概念。现在来讨论极大似然法估计参数的问题。
设 为 维随机变量, 为 维未知参数,假定已知 的条件概率密度 。现在得到 组 的观测值 。观测值相互独立。当参数 是何值时, 出现的可能性最大?为此,确定似然函数:
(11-23)
或
(11-24)
求出使 为极大的 值,令
(11-25)
解之,可得 的估值 。
取极大值的充分条件是
因此,用极大似然法时,应先求似然函数 ,然后用微分法求出使似然函数 为极大的 的估值 。
设有一线性观测系统
(11-26)
式中, 是 维观测值, 是 维未知参数, 是 维测量误差。设 与 独立。给出 的统计特性,求 的极大似然估计。
下面求似然函数

根据不同随机变量的概率密度变换公式,并考虑到 与 独立,可得


令

得上式,可得 的估值 。
假定噪声 是正态分布,其均值为零,方差阵为 ,则

把 代入上式,得

式中

求出 ,使 为最大,也就是使
(11-27)
求 对 的偏导数,令偏导数等于零,可得 的估值


(11-28)
二、 极大验后估计
如果给出 维随机变量 的条件概率分布密度 ――也称验后概率密度,怎样求 的最优估值 呢?极大验后估计准则:使 的验后概率密度 达到最大那个 值为极大验后估值 。可见,极大验后估计是已知 求 的最优估值 的一种有效方法。
极大验后估计是以已知 为前提的。如果只知道 ,可按下式计算 。
(11-29)
式中 是 的验前概率密度, 是观测值 的概率密度, 可用计算方法或实验方法求得。为了计算 需要知道 。在 没有验前知识可供利用时,可假定 在很大范围内变化。在这种情况下,可把 的验前概率密度 近似地看作方差阵趋于无限大的正态分布密度

式中 为 的方差阵, 单位阵, ,于是

(11-30)
当
(11-31)
当缺乏 的验前概率分布密度时,极大验后估计与极大似然估计是等同的,现证明如下:
对于极大似然估计,为了求得 的最优估值 ,应令
(11-32)
对于极大验后估计,为了求得 的最优估值 ,应令
(11-33)
根据式(11-29)得


考虑到 不是 的函数,同时考虑到式(11-31),可得
(11-34)
一般说来,极大似然估计比极大验后估计应用普遍,这是由于计算似然函数比计算验后概率密度较为简单。
|