克拉美罗界（CRLB）推导

克拉美罗界（CRLB）推导

在推导CRLB之前，我们先了解一下Probability Density Function (PDF-概率密度函数)，我们在估计一个参数的准确度时，所有可能的信息都通过观测的数据以及数据的PDF而变现出来、所以，估计精度直接与PDF相关。

举个例子1

如果观测到单个的样本，即
$$x[0]=A+\omega [0]$$
其中$\omega \sim N(0,{\sigma }^2)$, 希望估计出一个精确的$A$。当${\sigma }^2$较小时，估计出来的$A$精度高。一个好的无偏估计是$\hat{A}=x[0]$,其方差刚好是${\sigma }^2$。图中显示了两个具有不同方差的PDF。

我们来看看一下PDF：
$$p_i(x[0];A)=\frac{1}{\sqrt[2]{2\pi {\sigma }_i^2}}{e}^{[-\frac{(x[0]-A{)}^2}{2{\sigma }_i^2}]}(1)$$
PDF的自然对数：
$$lnp(x[0];A)=-ln\sqrt[2]{2\pi {\sigma }^2}-\frac{1}{2{\sigma }^2}(x[0]-A{)}^2(2)$$
一阶导数:
$$\frac{\partial lnp(x[0];A)}{\partial A}=\frac{1}{{\sigma }^2}(x[0]-A)(3)$$
负得二阶偏导：
$$-\frac{{\partial }^{2}lnp(x[0];A)}{\partial A^2}=\frac{1}{{\sigma }^2}(4)$$
曲率随${\sigma }^2$的减少而增加，已知$\hat{A}=x[0]$具有方差${\sigma }^2$,从而：
$$var(\hat{A})=\frac{1}{-\frac{\partial lnp(x[0];A)}{\partial A^2}}(5)$$

Cramer-Rao 下界推

定理：假定PDF$p(x;\theta )$满足“正则”条件：
$$E[\frac{\partial lnp(x;\theta )}{\partial \theta }]=0(6)$$
其中数学期望是对$p(x;\theta )$求取的。那么，任何无偏估计量$\hat{\theta }$的方差必定满足：
$$var(\hat{\theta })\ge \frac{1}{-E[\frac{{\partial }^{2}lnp(x;\theta )}{\partial {\theta }^2}]}(7)$$
其中导数实在$\theta$的真值处计算的，数学期望是对$p(x;\theta )$求取的。而且，对于某个函数$g$和$I$,当且仅当：
$$\frac{\partial lnp(x;\theta )}{\partial \theta }=\frac{1}{{\sigma }^2}(x-\theta )$$
$$\frac{\partial lnp(x;\theta )}{\partial \theta }=I(\theta )(g(x)-\theta )(8)$$
时，对有$\theta$达到下限的无偏估计量就可以求得。这个估计量是$\hat{\theta }=g(x)$，它是MVU估计量，最小方差是$1/I(\theta )$。
由于二阶导数是与x有关得随机变量，所以（5）中得数学期望由下式给出：
$$E[\frac{{\partial }^{2}lnp(x;\theta )}{\partial {\theta }^2}]=\int \frac{{\partial }^{2}lnp(x;\theta )}{\partial {\theta }^2}p(x;\theta )dx(9)$$
而且，一般来说下限与$\theta$有关

例子：高斯白噪声得DC电平

对例子1扩展，考虑多观测：
$$x[n]=A+w[n]n=0,1,\cdots ,N-1$$
其中$w[n]$是方差为${\sigma }^2$的WGN,确定A的CRLB。

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。
$$\begin{gathered} p(x;A)=\prod _{n=0}^{N-1}\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{([-\frac{1}{2{\sigma }^2}(x[n]-A{)}^2])} \\ =\frac{1}{(2\pi {\sigma }^2{)}^{\frac{N}{2}}}{e}^{[-\frac{1}{2{\sigma }^2}{\sum }_{n=0}^{N-1}(x[n]-A{)}^2]} \end{gathered}$$
求出一阶导数：
$$\begin{gathered} \frac{\partial lnp(x;A)}{\partial A}=\frac{\partial }{\partial A}[-ln(2\pi {\sigma }^2{)}^{\frac{N}{2}}-\frac{1}{2{\sigma }^2}\sum _{n=0}^{N-1}(x[n]-A{)}^2] \\ =\frac{1}{{\sigma }^2}\sum _{n=0}^{N-1}(x[n]-A) \\ =\frac{N}{{\sigma }^2}(\bar{x}-A) \end{gathered}$$
其中$\bar{x}$是样本均值。再次求导，
$$\frac{\partial lnp(x;A)}{\partial A^2}=-\frac{N}{{\sigma }^2}$$
注意到二阶导数是常数，由式（7）可得CRLB:
$$var(A)\ge -\frac{N}{{\sigma }^2}$$
最后再提几点：
1、Fisher信息： $$J(A)=-E[\frac{{\partial }^{2}lnp(x;\theta )}{\partial {\theta }^2}]$$
2、本文进行的是标量参数CRLB的推导，没有进行扩展。扩展后还存在：

• 矢量参数CRLB推导
• 一般高斯CRLB推导
• 渐进CRLB推导

共同学习，共同进步，多多交流