指数加权平均

整理自吴恩达深度学习系列视频
https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001701051
Also called exponentially weighted moving averages in statistics.

指数加权平均，是一种计算平均值的一种方法，起源于对伦敦气温的研究。

计算平均值最直观的方法，求和除以值的数目。比如求伦敦一个月的气温平均值，你把所有的温度加起来除以一个月的天数即可。下面我们介绍另一种求每一天平均气温的方法，即指数加权平均。

指数加权平均计算方法

$V_t=\beta V_{t-1}+(1-\beta ){\theta }_t$

$V_t$表示计算的当天平均气温，$V_{t-1}$表示计算的前一天平均气温，${\theta }_t$表示数据里当天气温值。

$\beta$表示权值，一般取0.9.

$V_t$即计算的当天平均气温，$\beta$取0.9时，它近似了$\frac{1}{1-\beta }=10$ 天的平均气温。

如何理解

如图所示，计算v100时，每一个i小于100的vi值都参与了计算，但因为前项系数的不同，它们的贡献不同且随着离100越远贡献越小，所以这是一种比较科学的求平均值的方法。

这跟把10天的气温加起来除以10的区别在于，前者需要保存所有温度值并求和，实现起来更复杂，计算量更大。

指数加权平均占用很少一部内存，并且实现起来只需要一两行代码，在数据量很大的时候优势明显。