非线性最小方差估计（保姆级教程）

非线性最小方差估计

学习基于：《Optimal Estimation of Dynamic Systems》

Nonlinear Least Squares Estimation（非线性最小方差估计）也称为 Gaussian least squares differential correction（高斯最小二乘微分校正），本文我将用最简单通俗的语言，抛开公式背后复杂深层的原理，以一个使用者的角度带你看待这种经典的方法。希望能帮助非此专业的人更好地从宏观上把握非线性最小方差估计，将他作为一种解决问题的工具。
先抛出一个式子：
$$\tilde{\mathbf{y}}=\mathbf{f}(\mathbf{x})+\mathbf{e}$$
这看起来很简洁的一个公式，实际上已经充分陈述了我们非线性最小方差估计要解决的问题情景：有一个系统，它的里面有一些参数$\mathbf{x}$是未知的，我们想要知道参数到底是多少，或者说至少能知道它近似是多少。然而，我们无法直接观测或者测量到$\mathbf{x}$，幸运的是，我们至少能测量到系统的输出$\mathbf{y}$。当然，我们测量到的$\mathbf{y}$与真实的$\mathbf{y}$之间有一点点误差，因为任何测量方法都不能做到100%准确。所以，为了在方程中体现这件事情，我们用$\tilde{\mathbf{y}}$表示测量到的$\mathbf{y}$；用$\mathbf{e}$表示误差。此外，每个符号都表示向量，为了用一个一维的数来综合地表示一下误差，我们可以这样子定义
$$J=\frac{1}{2}{\mathbf{e}}^{T}W\mathbf{e}$$
这样，误差就转化为一个数了，其中出现的$W$是一个所谓的权重矩阵，决定多个变量之间谁比较重要，我们学习的时候就直接按照单位阵理解就好了。

此时 y ~ \tilde{\mathbf{y}}