本文介绍了BLUE（Best Linear Unbiased Estimator，最佳线性无偏估计）的概念，阐述了其作为无偏且方差最小的线性估计的特性。当MVU估计为线性时，BLUE与MVU相同。通过数学推导，展示了如何在满足无偏约束的条件下找到BLUE，并给出最优解公式。BLUE的应用场景包括噪声中的信号幅度估计，并指出确定BLUE只需要知道一、二阶矩信息，而不需要完整概率密度函数。
摘自Steven M. Kay，《Fundamentals of Statistical Signal Processing: Estimation Theory》。
6.4 找到BLUE
BLUE估计，其实就是无偏的具有最小方差的线性估计。因此如果MVU估计是线性的，则BLUE就是MVU，否则就不是。并且BLUE有可能不存在。其中根据无偏约束，有
E
(
θ
^
)
=
∑
n
=
1
N
−
1
a
n
E
(
x
[
n
]
)
=
θ
.
(6.2)
\tag{6.2} {\rm E}(\hat \theta)=\sum_{n=1}^{N-1}a_n{\rm E}(x[n])=\theta.
E(θ^)=n=1∑N−1anE(x[n])=θ.(6.2)
θ
^
\hat \theta
θ^的方差为
v
a
r
(
θ
^
)
=
E
[
(
∑
n
=
1
N
−
1
a
n
x
[
n
]
−
E
(
∑
n
=
1
N
−
1
a
n
x
[
n
]
)
)
2
]
.
{\rm var}({\hat \theta})={\rm E} \left[ \left(\sum_{n=1}^{N-1}a_nx[n] -{\rm E}\left(\sum_{n=1}^{N-1}a_nx[n]\right) \right)^2 \right].
var(θ^)=E⎣⎡(n=1∑N−1anx[n]−E(n=1∑N−1anx[n]))2⎦⎤.令
a
=
[
a
0
a
1
…
a
N
−
1
]
T
{\bf a}=[a_0\ a_1\ \ldots \ a_{N-1}]^{\rm T}
a=[a0 a1 … aN−1]T，则
θ
^
=
a
T
x
\hat \theta={\bf a}^{\rm T}{\bf x}
θ^=aTx，因此可以得到
v
a
r
(
θ
^
)
=
E
[
(
a
T
x
−
a
T
E
(
x
)
)
2
]
=
E
[
(
a
T
(
x
−
E
(
x
)
)
)
2
]
=
E
[
a
T
(
x
−
E
(
x
)
)
(
x
−
E
(
x
)
)
T
a
]
=
a
T
C
a
.
(6.3)
\tag{6.3} \begin{aligned} {\rm var}({\hat \theta})&={\rm E} \left[ \left({\bf a}^{\rm T}{\bf x}-{\bf a}^{\rm T}{{\rm E}(\bf x)} \right)^2 \right]\\ &={\rm E} \left[ \left({\bf a}^{\rm T}({\bf x}-{{\rm E}(\bf x))} \right)^2 \right]\\ &={\rm E} \left[ {\bf a}^{\rm T}({\bf x}-{{\rm E}(\bf x))} ({\bf x}-{\rm E}(\bf x))^{\rm T}{\bf a} \right]\\ &={\bf a}^{\rm T}{\bf C}{\bf a}. \end{aligned}
var(θ^)=E[(aTx−aTE(x))2]=E[(aT(x−E(x)))2]=E[aT(x−E(x))(x−E(x))Ta]=aTCa.(6.3)
由于满足无偏估计，因此
E
(
x
[
n
]
)
{\rm E}(x[n])
E(x[n])对于
θ
\theta
θ一定是线性的，即满足
E
(
x
[
n
]
)
=
s
[
n
]
θ
,
(6.4)
\tag{6.4} {\rm E}(x[n])=s[n]\theta,
E(x[n])=s[n]θ,(6.4)这里的
s
[
n
]
s[n]
s[n]是已知的。否则就不可能满足无偏约束。例如，如果
E
(
x
[
n
]
)
=
cos
θ
E(x[n])=\cos\theta
E(x[n])=cosθ，则无偏估计应该是
∑
n
=
0
N
−
1
cos
a
n
θ
=
θ
\sum_{n=0}^{N-1}\cos a_n\theta=\theta
∑n=0N−1cosanθ=θ。显然，不存在能够使得无偏约束成立的系数
a
n
a_n
an。
注意如果我们将
x
[
n
]
x[n]
x[n]表示为
x
[
n
]
=
E
(
x
[
n
]
)
+
[
x
[
n
]
−
E
(
x
[
n
]
)
]
,
x[n]=E(x[n])+[x[n]-E(x[n])],
x[n]=E(x[n])+[x[n]−E(x[n])],如果将
x
[
n
]
−
E
(
x
[
n
]
)
x[n]-E(x[n])
x[n]−E(x[n])看作噪声
w
[
n
]
w[n]
w[n]，则有
x
[
n
]
=
θ
s
[
n
]
+
w
[
n
]
.
x[n]=\theta s[n]+w[n].
x[n]=θs[n]+w[n].(6.4)意味着BLUE适用于噪声中对已知信号进行幅度估计。为了让其应用更广泛，我们可以将其进行非线性变换（如前文所述的功率估计的例子。）
基于(6.4)，下面我们来总结估计问题。为了找到BLUE，我们需要满足无偏估计约束条件下，最小化方差
v
a
r
(
θ
^
)
=
a
T
C
a
.
{\rm var}(\hat \theta)={\bf a}^{\rm T}{\bf C}{\bf a}.
var(θ^)=aTCa.根据(6.2)和(6.4)，可以得到
∑
n
=
1
N
−
1
a
n
E
(
x
[
n
]
)
=
θ
\sum_{n=1}^{N-1}a_n{\rm E}(x[n])=\theta
n=1∑N−1anE(x[n])=θ
∑
n
=
1
N
−
1
a
n
s
[
n
]
θ
=
θ
\sum_{n=1}^{N-1}a_ns[n]\theta=\theta
n=1∑N−1ans[n]θ=θ
∑
n
=
1
N
−
1
a
n
s
[
n
]
=
1
\sum_{n=1}^{N-1}a_ns[n]=1
n=1∑N−1ans[n]=1
a
T
s
=
1
{\bf a}^{\rm T}{\bf s}=1
aTs=1根据Appendix 6A，可以得到最优解为
a
o
p
t
=
C
−
1
s
s
T
C
−
1
s
,
{\bf a}_{\rm opt}=\frac{{\bf C}^{-1}{\bf s}}{{\bf s}^{\rm T}{\bf C}^{-1}{\bf s}},
aopt=sTC−1sC−1s,因此BLUE为
θ
^
=
s
T
C
−
1
x
s
T
C
−
1
s
,
(6.5)
\tag{6.5} \hat \theta=\frac{{\bf s}^{\rm T}{\bf C}^{-1}{\bf x}}{{\bf s}^{\rm T}{\bf C}^{-1}{\bf s}},
θ^=sTC−1ssTC−1x,(6.5)最小方差为
v
a
r
(
θ
^
)
=
1
s
T
C
−
1
s
.
(6.6)
\tag{6.6} {\rm var}(\hat \theta)=\frac{1}{{\bf s}^{\rm T}{\bf C}^{-1}{\bf s}}.
var(θ^)=sTC−1s1.(6.6)注意到根据(6.4)，由于
E
(
x
)
=
θ
s
E({\bf x})=\theta{\bf s}
E(x)=θs，BLUE为无偏的
E
(
θ
^
)
=
s
T
C
−
1
θ
s
s
T
C
−
1
s
=
θ
.
(6.5)
\tag{6.5} \begin{aligned} E(\hat \theta)&=\frac{{\bf s}^{\rm T}{\bf C}^{-1}\theta {\bf s}}{{\bf s}^{\rm T}{\bf C}^{-1}{\bf s}}\\ &=\theta. \end{aligned}
E(θ^)=sTC−1ssTC−1θs=θ.(6.5)正如前面我们强调的，确定BLUE，只需知道
- s \bf s s或者标量均值；
- 协方差
C
\bf C
C。
或者说一、二阶矩，而非所有PDF。
扫一扫
4942
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
