假设有一个随机向量x{\bm x}x需要估计，线性最小均方误差（Linear Minimum Mean Square Error, LMMSE）估计的目标是找到一个线性估计器x^=Ay+b\hat{{\bm x}} = {\bm A}{\bm y} + {\bm b}x^=Ay+b，使得估计误差e=x−x^\bm e = \bm x- \hat{\bm x}e=x−x^的均方误差E[e2]E[\bm e^2]E[e2]最小。
均方误差（MSE）的定义：
MSE=E[∥x−x^∥22]=E[(x−x^)T(x−x^)]
\text{MSE} = E\left[\|{\bm x} - \hat{{\bm x}}\|_2^2\right] = E\left[({\bm x} - \hat{{\bm x}})^T({\bm x} - \hat{{\bm x}})\right]
MSE=E[∥x−x^∥22]=E[(x−x^)T(x−x^)]
这里 x{\bm x}x是真实参数，x^\hat{{\bm x}}x^是估计参数，EEE表示期望。
参数估计公式：
x^=Ay+b
\hat{{\bm x}} = {\bm A}{\bm y} + {\bm b}
x^=Ay+b
这里 x^\hat{{\bm x}}x^是参数的估计值，A{\bm A}A是一个矩阵，y{\bm y}y是输入向量，b{\bm b}b是偏置项。
通过最小化均方误差来估计参数 x{\bm x}x。
MSE=E[(x−Ay−b)T(x−Ay−b)] \text{MSE} = E\left[({\bm x} - {\bm A}{\bm y} - b)^T({\bm x} - {\bm A}{\bm y} - {\bm b})\right] MSE=E[(x−Ay−b)T(x−Ay−b)]
通过求解对 b{\bm b}b和 A{\bm A}A的偏导数并令其为零，可以得到最优的 b{\bm b}b和 A{\bm A}A的值。
对 b{\bm b}b的偏导数：
∂MSE∂b=−2E(x−Ay−b)=0
\frac{\partial \text{MSE}}{\partial {\bm b}} = -2E({\bm x} - {\bm A}{\bm y} - {\bm b}) = 0
∂b∂MSE=−2E(x−Ay−b)=0
b{\bm b}b的最优值是：
b=E(x)−AE(y)
{\bm b} = E({\bm x}) - {\bm A}E({\bm y})
b=E(x)−AE(y)
对 A{\bm A}A的偏导数：
∂MSE∂A=−2E[(x−Ay−b)yT]=0
\frac{\partial \text{MSE}}{\partial {\bm A}} = -2E[({\bm x} - {\bm A}{\bm y} - b){\bm y}^T] = 0
∂A∂MSE=−2E[(x−Ay−b)yT]=0
A{\bm A}A的最优值是：
A=E[(x−E(x)−A(y−E(y)))yT]=0
{\bm A} = E[({\bm x} - E({\bm x}) - {\bm A}({\bm y} - E({\bm y}))){\bm y}^T] = 0
A=E[(x−E(x)−A(y−E(y)))yT]=0
进一步简化：
E[(x−E(x)−A(y−E(y))](y−E(y))T]=0
E[({\bm x} - E({\bm x}) - {\bm A}({\bm y} - E({\bm y}))]({\bm y} - E({\bm y}))^T] = 0
E[(x−E(x)−A(y−E(y))](y−E(y))T]=0
利用协方差矩阵表示：
Cov(x,y)=ACov(y)
\text{Cov}({\bm x}, {\bm y}) = {\bm A} \text{Cov}({\bm y})
Cov(x,y)=ACov(y)
求解 A{\bm A}A：
A=Cov(x,y)(Cov(y))−1
{\bm A} = \text{Cov}({\bm x}, {\bm y}) (\text{Cov}({\bm y}))^{-1}
A=Cov(x,y)(Cov(y))−1
最后代入，
x^=Ay+b=Cov(x,y)(Cov(y))−1y+E(x)−AE(y)
\hat{{\bm x}} = {\bm A}{\bm y} + {\bm b} = \text{Cov}({\bm x}, {\bm y}) (\text{Cov}({\bm y}))^{-1}{\bm y} + E({\bm x}) - {\bm A}E({\bm y})
x^=Ay+b=Cov(x,y)(Cov(y))−1y+E(x)−AE(y)
扫一扫
920
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
