【文献阅读】

Title

Fast greedy optimization of sensor selection in measurement
with correlated noise

Autor information

引用格式：Yamada, Keigo, et al. “Fast greedy optimization of sensor selection in measurement with correlated noise.” Mechanical Systems and Signal Processing 158 (2021): 107619.pdf链接

Full text

Abtract

针对测量中含有相关噪声的降阶传感中稀疏传感器的选择问题，提出了一种贪婪算法。通过在贝叶斯估计算子中最大化Fisher信息矩阵的行列式来进行传感器选择。
通过高维数据的模态分解给出的具有测量噪声的协方差矩阵和估计参数的先验概率分布的贝叶斯估计，即使在存在相关噪声的情况下也能稳健地工作。在通过噪声协方差矩阵的低秩近似提高了算法的计算效率之后，将所提出的算法应用于各种问题。与先前提出的基于行列式的贪婪算法相比，所提出的方法产生了更准确的重建，并且合理地增加了计算时间。

Intronduction

监测复杂的流体行为对于航空航天工程中的有效反馈控制至关重要[1，2]。然而，由于需要在实时情况下进行处理并减少通信能量，部署在现场的许多传感器受到限制。因此，传感器位置的优化方法和实际状态估计方案至关重要，因为必须克服从机翼上的少数传感器估计离翼快速流体流的困难。在最优实验设计[3]、压缩传感[4]和系统识别[5，6]中发现了假设采集数据稀疏并减少传感器数量的类似配置。
如最近的专著所示，传感器选择的方法变化很大，例如基于方程的建模后的优化[7]和绕过建模的机器学习优化[8]。然而，这项工作通过对一种现象进行建模来优化传感器的放置，这种现象是以数据驱动的方式构建的。参考文献[9]。
原因是，通过测量系统的最新发展，可以在流体动力学实验或其他实验中获得高维可视化数据，并且前面提到的对反馈控制的要求以这种方式激励传感器的选择。关于传感器选择算法，存在各种客观度量和优化方法。传感器选择问题的目标函数示例为与普通线性最小二乘估计[10，11]中的Fisher信息矩阵或卡尔曼滤波器[12]的稳态误差协方差矩阵相关的目标函数。另一方面，传感器选择问题的优化方法（如蛮力搜索的启发式方法）基于凸松弛方法[13，14]、贪婪方法[15，16]和近似优化算法[17，18]。
然而，在这些既定的方法中，很少能看到考虑空间相关噪声的公式。在声学信号[19]和振动[20]的处理以及数据驱动的降阶建模[16]中，由于模型和现象本身之间的差异，噪声经常成为问题。刘等人[21]指出了参考文献中弱相关噪声的简化假设。[13]介绍了基于Fisher信息矩阵迹的公式，该公式具有传感器之间噪声协方差的一般核。Ucin´ski[22]为涉及非凸项的类似目标函数开发了一种迭代优化方法，以促进Fisher信息矩阵在松弛形式下是正则的。
在这里，本文的目的是通过以下列表中提供的几个贡献来改进稀疏传感和传感器选择算法；介绍了一种数据驱动的噪声协方差矩阵和贝叶斯先验，它们都是根据数据的适当正交分解（POD）计算的。在我们的框架中，POD程序生成的模式分为两种；前r个模式对应于降阶现象，其余模式对应于相关噪声。
提出了一个基于贝叶斯状态估计的Fisher信息矩阵的行列式的目标函数和一个贪婪算法，该算法利用了参考文献[16]中提出的秩一引理。
通过对噪声协方差矩阵进行近似，开发了一种有效的实现方法，并验证了其对数值模拟和几个实际数据集的影响。
本研究的方法和贡献如图所示。1。首先，简要回顾了基于POD的降阶建模和稀疏感知的基本原理。第2.1节和第2.2节给出了先前和当前研究的算法，然后在第3节中通过再现随机生成的数据矩阵和其他实际测量数据集，展示了所提出的方法在噪声数据集上的优越性。最后，第4节对论文进行了总结。

Method

$$\begin{array}{rl}X& =U\sum V^T\\ & =\left[\begin{array}{cc}{U}_{1:r_1}& U_{(r_1+1):m}\end{array}\right]\left[\begin{array}{cc}{\sum }_{1:r_1}& 0\\ 0& {\sum }_{(r_1+1):m}\end{array}\right]\left[\begin{array}{cc}{V}_{1:r_1}^T& \\ V_{(r_1+1):m}^T& \end{array}\right]\\ & =U_{1:r_1}{\sum }_{1:r_1}{V}_{1:r_1}^T+U_{(r_1+1):m}{\sum }_{(r_1+1):m}{V}_{(r_1+1):m}^T\\ & =X_{1:r_1}+X_{(r_1+1):m}\\ & \approx X_{1:r_1}\end{array}$$

统一公式（D实验设计）

使用贝叶斯估计的稀疏传感器放置

$$y=H{C}^{\ast }z=Cz$$
算法1是基于最小二乘估计的优化

$\max \log (C^{T}C)$

$$\begin{array}{rl}E(z{z}^T)& \equiv Q\\ & \approx \frac{1}{m}{\sum }_{1:r_1}{V}_{1:r_1}^T{V}_{1:r_1}{\sum }_{1:r_1}\\ & \propto {\sum }_{1:r_1}^2\end{array}$$
$$\begin{gathered} x=U_{1:r_1}+w \\ \begin{array}{rl}E(w{w}^T)\equiv \mathcal{R}& \\ & =U_{(r_1+1):m}{\sum }_{(r_1+1):m}^2{U}_{(r_1+1):m}^T\end{array} \end{gathered}$$
$$\begin{gathered} y=H{U}_{1:r_1}+Hw \\ \begin{array}{rl}E(H\mathbf{w}{\mathbf{w}}^T{H}^T)& =HE(w{w}^T)H^T\\ & \equiv H\mathcal{R}{H}^T\\ & \equiv R\end{array} \end{gathered}$$
先验概率$p(z)$符合分布：
$$p(z)\propto \exp (-{\mathbf{z}}^T{Q}^{-1}\mathbf{z})$$
似然函数$p(y|z)$
$$p(y|z)\propto \exp (-{\mathbf{z}}^T{Q}^{-1}\mathbf{z})$$
由贝叶斯定理得到的后验概率$p(z|y)$
$$\begin{array}{rl}p(z|y)& \propto p(y|z)p(z)\\ & =\exp (-(y-Cz{)}^T{R}^{-1}(y-Cz)-z^T{Q}^{-1}z\end{array}$$
参数$z$的最大似然估计为
$$\hat{z}=(C^T{R}^{-1}C+Q^{-1}{)}^{-1}{C}^T{R}^{-1}y$$
目标函数变为
$$\max \log \det (C^T{R}^{-1}C+Q^{-1})\text{\hspace{1em}(1.1)}$$

随后作者提出了1.1的快速算法，接着考虑到内存效率问题，推荐将R去主对角线元素，将协方差矩阵修建；同时$U_{(r_1+1):m}$去前导$r_2$列，即$U_{(r_1+1):(r_1+r_2+1)}$代替。

Experienment

作者将贪心法用于最大化子集选择的集合函数，证明在有效的区间内，非子模函数的贪心解比子模函数的贪心解拥有更高的准确率（$\ge (1-e^{-1}))$，而且也比其它方法拥有更高的下界。

Conclusion

在贝叶斯最大后验（MAP）状态估计的背景下，提出了一种噪声鲁棒传感器的贪婪选择方法来重建高维数据。 该算法利用数据奇异值分解的高阶模式，这在之前的降阶传感框架中被忽略。 它们用于构建噪声协方差矩阵作为 MAP 状态估计中的权重。 系数的先验分布也是根据模式信息生成的。 所提出的方法通过最大化 MAP 估计算子中矩阵的行列式来确定传感器，以最小化预期估计误差的度量。 此外，为了更有效的实现，考虑了秩一引理和协方差矩阵的低秩近似。
我们的方法被应用于一些例子，并验证了确定的传感器的重建能力。 首先，我们分别确认了所提出方法的传感器的噪声鲁棒性和贝叶斯估计的优点。 与之前提出的方法相比，数据矩阵的再现结果显示重建精度显着提高，计算时间合理增加。
未来感兴趣的作品包括： 将该方法扩展到非线性测量。 该方法基于 POD 模式的线性建模，因此应该扩展到更通用的测量配置，如 [7]。
出于与上述相同的原因，采用指数模型等各种噪声模型。
将现象动力学纳入建模、估计和传感器选择。 反馈控制应考虑这一点。 参考文献中提出了一些与可观测性和可控性相关的指标。 [26]，并将当前工作扩展到这些指标是我们未来的重点。

启发

1. 降维丢弃的高维信息可以重复利用，如本文中指导噪声模型的分布