最小均方算法

deepfuture

于 2012-08-07 10:50:03 发布

阅读量1.5k

点赞数

分类专栏：数学与计算文章标签： matlab

数学与计算专栏收录该内容

434 篇文章

订阅专栏

最小均方算法，简称LMS算法，即least mean square。该算法广泛应用于自适应滤波算法中

在统计学中，均方差是对于无法观察的参数 $\theta$ 的一个估计函数T;其定义为:

$\operatorname{MSE}(T)=\operatorname{E}((T-\theta)^2),$

即，它是"误差"的平方的期望值.误差就是估计值与被估计量的差. 均方差满足等式

$\operatorname{MSE}(T)=\operatorname{var}(T)+(\operatorname{bias}(T))^2$

其中

$\operatorname{bias}(T)=\operatorname{E}(T)-\theta,$

也就是说，偏差 $\operatorname{E}(T)$ 是估计函数的期望值与那个无法观察的参数的差。

下边是一个具体例子.假设

$X_1,\dots,X_n\sim\operatorname{N}(\mu,\sigma^2),$

即 $X_1,\dots,X_n$ 是一组来自正态分布的样本.　常用的两个对σ² 估计函数为:

$\frac{1}{n}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2\$ 　和　 $\frac{1} {n-1}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2$

其中

$\overline{X}=(X_1+\cdots+X_n)/n$

为样本均值.

第一个估计函数为最大似然估计，它是有偏的,即偏差不为零,但是它的方差比第二个小. 而第二个估计函数是无偏的. 较小的方差某种程度上补偿了偏差,因此第二个估计函数的均方差比第一个要小.

另外,这两个估计函数的均方差都比下边这个有偏估计函数小

$\frac{1}{n+1}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2$

这个估计函数使得形如 $c\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2$ (其中c是常数)的均方差最小

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。