算法评价和误差分析

• 记号：$x$表示测量值，$\hat x$表示估计值，$\bar x$表示真值

• RMS(均方根)残差
  

  $$\varepsilon _{res} = [\frac 1 {2n} \sum_{i=1}^nd(x_i',\hat x_i')^2]^{1/2}$$
  $$\varepsilon _{res} = [\frac 1 {4n} (\sum_{i=1}^nd(x_i',\hat x_i')^2+\sum_{i=1}^nd(x_i,\hat x_i)^2)]^{1/2}$$

• 重要结论：考虑一个估计问题，其中N个测量由依赖于d个本质参数集的函数模型化，假定每个测量变量有标准差$\sigma$的独立高斯噪声
  （1）ML估计算法的RMS残差（测量值到估计值的距离）是
  

  $$\varepsilon _{res} ==E[||\hat X-X||/N]^{1/2}=\sigma (1-d/N)^{1/2}$$
  （2）ML估计算法的RMS估计误差（测量值到真值的距离）是
  $$\varepsilon _{est} ==E[||\hat X-\bar X||/N]^{1/2}=\sigma (d/N)^{1/2}$$

• 单图像误差
  

  $$\varepsilon _{res}=\sigma (1-4/n)^{1/2}$$
  $$\varepsilon _{est}=\sigma (4/n)^{1/2}$$

• 重投影误差
  

  $$\varepsilon _{res}=\sigma (\frac {n-4}{2n} )^{1/2}$$
  $$\varepsilon _{est}=\sigma (\frac {n+4}{2n})^{1/2}$$

变换估计的协方差

• 协方差的前向传播
  结论1：令$v$是$R^M$中的一个具有均值$\bar v$和协方差矩阵$\Sigma$的随机变量，假定$f:R^M\mapsto R^N$是一个仿射映射：定义为$f(v)=f(\bar v)+A(v-\bar v)$。那么$f(v)$是一个具有均值$f(\bar v)$和协方差矩阵$A\Sigma A^T$的随机变量
  结论2：令$v$是$R^M$中的一个具有均值$\bar v$和协方差矩阵$\Sigma$的随机变量，假定$f:R^M\mapsto R^N$在$\bar v$的邻域可微，那么在精确到一阶近似的程度。那么$f(v)$是一个具有均值$f(\bar v)$和协方差矩阵$J\Sigma J^T$的随机变量，其中$J$是$f$的雅可比矩阵在$\bar v$的值。$v$方差越小，线性近似越精确

• 协方差的反向传播
  仿射情形，令$f:R^M\mapsto R^N$是形为$f(P)=f(\bar P)+J(P-\bar P)$的仿射映射，其中,$J$的秩等于$M$。令$X$是$R^N$中的一个具有均值$\bar X=f(\bar P)$和协方差矩阵$\Sigma$的随机变量。令$f^{-1}o\eta:R^N\mapsto R^M$是一个映射，它把测量矢量$X$映射到对应于ML估计$\hat X$的参数矢量$P$。那么$\bar P=f^{-1}o\eta(X)$是一个具有均值$\bar P$的随机变量，其协方差矩阵是$\Sigma _P =(J^T\Sigma_X^{-1}J)^{-1}$
  非线性情形，令$f:R^M\mapsto R^N$是一个可微映射，而$J$是它在点$\bar P$处的雅可比矩阵。假定$J$的秩等于$M$，则$f$在$\bar P$的领域是一一对应的。令$X$是$R^N$中的一个具有均值$\bar X=f(\bar P)$和协方差矩阵$\Sigma$的随机变量。令$f^{-1}o\eta:R^N\mapsto R^M$是一个映射，它把测量矢量$X$映射到对应于ML估计$\hat X$的参数矢量$P$。那么在一阶精度下，$\bar P=f^{-1}o\eta(X)$是一个具有均值$\bar P$的随机变量，其协方差矩阵是$\Sigma _P =(J^T\Sigma_X^{-1}J)^{-1}$

• 超参数化，$J$的秩是$d<M$
  协方差的反向传播，超参数情形。令$f:R^M\mapsto R^N$是一个可微映射，它把一组参数$\bar P$映射到测量矢量$X$。令$S_P$是嵌入$R^M$中过点$\bar P$的$d$维光滑流形并使得映射$f$在流形$S_P$上的$\bar P$的一个邻域内是一一对应的，$f$把$S_p$邻域映射到$R^N$上的流形$f(S_P)$。函数$f$有一个局部逆函数，记为$f^{-1}$，它限制在曲面$f(S_p)$上$\bar X$的一个邻域内。定义$R^N$上一个具有均值$\bar X$和协方差$\Sigma_x$的高斯分布，并令$\eta:R^N\mapsto f(S_p)$把$R^N$的点映射到$f(S_P)$上并在Mathlanobis范数$||^.||_{\Sigma _x}$意义下最近的点。$R^N$上具有协方差矩阵$\Sigma_x$的概率分布通过$f^{-1}o\eta$诱导$R^M$上的概率分布，它在一阶精度下的协方差矩阵是

  $$\Sigma_p=(J^T\Sigma_x^{-1}J)^{+A}=A(A^TJ^T\Sigma_x^{-1}JA)^{-1}A^T$$
  其中$A$是任意$m×d$矩阵，它的列矢量生成$S_p$的过点$\bar P$的切空间
  

  反向传播过程：$X\mapsto f(S_p)\mapsto P$

结论：令$f:R^M\mapsto R^N$是一个可微映射，它把一组参数$\bar P$映射到测量矢量$\bar X$，并令$J$为$f$的雅可比矩阵。设$R^N$上一个具有协方差矩阵$\Sigma_x$的高斯分布定义在$\bar X$，同时令$f^{-1}o\eta:R^N\mapsto R^M$是把一个测量$X$映射到约束在局部正交于$J$的零空间曲面$S_p$上的MLE参数矢量$P$的映射。那么$f^{-1}o\eta$诱导在$R^M$上的一个分布，它的协方差矩阵在一阶精度下是$\Sigma_p=(J^T\Sigma_x^{-1}J)^+$
当约束是$||P||=1$时，满足约束在局部正交于$J$的零空间曲面$S_p$上的MLE参数矢量$P$

应用

• 单图像误差变换H的协方差矩阵
  (1)计算$\hat H$
  (2)计算$J_f=\partial X'/\partial h$
  (3)$\Sigma_p=(J_f^T\Sigma_{X'}^{-1}J_f)^+$

  • 估计点转移的误差，$x$是没有用于计算$H$的点，$x'=Hx$
    

    $$\Sigma_{x'}=J_h\Sigma_hJ_h^T+J_x\Sigma_x J_x^T$$

  • 当$x$距离计算$H$的点集较远时，误差更大