【文献阅读】

Title

Determinant-Based Fast Greedy Sensor Selection Algorithm

Autor information

引用格式：Saito, Yuji, et al. “Determinant-based fast greedy sensor selection algorithm.” IEEE Access 9 (2021): 68535-68551.pdf链接

Full text

Abtract

本文考虑了最小二乘估计中的稀疏传感器放置问题，并对先前的稀疏传感器选择算法进行了扩展。在本扩展方法中，伪逆矩阵运算中出现的矩阵行列式的最大化被用作问题的目标函数。当传感器的数量小于状态变量的数量即欠采样时，相应矩阵的行列式的最大化过程被证明在数学上与先前提出的QR方法相同。另一方面，作者开发了一种新的算法，用于传感器数量大于状态变量数量时（过采样）。然后，导出了这两种算法的统一公式，并利用目标函数的单调子模性给出了该算法给出的目标函数的下界。通过与其他算法的结果比较，证明了该算法在实际数据集上的有效性。数值结果表明，在过采样情况下，与传统方法相比，所提出的算法将估计误差提高了约10%，其中估计误差被定义为重建数据和完整观测数据之间的差与完整观测数据之比。对于具有一万多个传感器候选点的NOAA-SST传感器问题，所提出的算法在几秒钟内选择传感器位置，这与3.40 GHz计算机上过采样情况下的其他算法相比需要几个小时。

Introduction

对于降阶建模，适当的正交分解（POD）[1]、[2]是将高维数据分解为几种重要流场模式的有效方法之一。 这里，POD 是指一种数据驱动的方法，它给出数据中最重要和最相关的结构，并且完全对应于主成分分析和 Karhunen-LoŁve (KL) 分解，其中分解模式彼此正交。 离散数据矩阵的 POD 分析可以通过应用奇异值分解来进行，这在工程领域中是常见的情况。 有几种先进的数据驱动方法：动态模式分解[3]、[4]； 经验模态分解； 以及其他包括作者 [5]、[6] 的努力。 本研究仅基于POD，这是最基本的数据驱动降阶建模方法。 如果流场等数据可以通过有限数量的POD模式有效表达，则放置在适当位置的有限传感器将给出近似的完整状态信息。 这种有效的观察可能是流量控制和流量预测的关键之一。 这个想法已被 Manohar 等人采纳[7]，并且已经开发和讨论了稀疏传感器放置算法。 这个想法用下面的方程表达：
$$y=HUx=Cx\text{\hspace{1em}(1)}$$
其中，$y\in R^p$、$x\in R^r$、$H\in R^{p\times n}$ 和 $U\in R^{n\times r}$ 分别是观测向量、POD 模式幅度、稀疏传感器位置矩阵和空间 POD 模式。 此外，p、n 和 r 分别是传感器位置的数量、空间 POD 模式的自由度和 POD 模式的数量。 当 U 和强度 x 分别被假设为传感器候选矩阵和潜在状态变量时，与上述方程相关的问题被认为是传感器选择问题。 该方程的图形表示如图 1 所示，

其中 H 的每一行中与传感器位置对应的元素为 1，其他元素均为 0。稀疏传感器放置问题是确定有限的传感器位置的最佳位置。 本文中的 n 个传感器候选点中的 p 个传感器。 高维状态通常可以利用潜在的低维表示，并且这种固有的可压缩性可以实现稀疏感知。应考虑 POD 模式来选择此类稀疏点传感器。 尽管压缩感知可以恢复更广泛的信号，但利用优化感知的数据中的已知模式的好处被利用，类似于之前的研究[7]。
在这种情况下，预计所需传感器数量会大幅减少，重建也会得到改善。 在一系列研究中，克拉克等人扩展了这个想法并开发了一种在成本约束下放置传感器的优化方法[8]。 马诺哈尔等人。 开发了一种使用平衡截断线性系统的传感器优化方法[9]。
到目前为止，这个传感器选择问题已经通过凸近似和贪心算法解决，其中贪心算法被证明比凸近似算法快得多[7]。
之前的研究[7]介绍了一种基于QR离散经验插值法（QDEIM）的贪婪算法[11]，[12]。 这里，QR 代表带有列主元矩阵分解的 QR 分解。 当传感器的数量大于状态变量的数量时，他们将贪心算法扩展到最小二乘问题。
凸近似法和贪心法对于传感器选择问题都相当有效。 Joshi 和 Boyd [13] 定义了传感器选择问题的目标函数，它对应于置信椭球体积的最小化。 Joshi 和 Boyd [13] 提出了该目标函数的凸近似方法。 另一方面，所提出的凸近似方法的计算时间较长。 最近，野野村等人。 将这种凸近似方法扩展到用于稀疏传感器选择的随机子空间牛顿凸近似方法[14]，而Nagata等人使用乘子交替方向法（ADMM）提出了传感器选择问题的凸/非凸方法[15]。 尽管这些提出的新凸方法降低了传统凸近似方法的复杂性，例如 ADMM 方法中的 (O(mnr2)) 与传统凸近似方法中的 (O(mn3)) 相比，它们仍然比贪心方法 (O(pnr2)) 慢，因为这些凸方法需要迭代计算，而这些迭代计算通常是大于传感器的数量 §。 因此，本文重点关注贪心算法，因为凸近似方法对于高维数据计算效率不高。
马诺哈尔等人[7]提出了一种QR方法，该方法为优化提供了近似贪婪的解决方案，即子矩阵体积最大化，并且相对于凸近似方法，通过使用QR方法改进了问题的计算时间。 然而，QR 方法似乎并没有直接与问题$y=Cx$关联，并且缺乏[7]中其实现的数学证明。 特别是当传感器数量大于状态变量数量时，贪心算法的计算理论背景不明确，QR方法的复杂度与凸逼近法[7]相差不大（见附录A 进行详细解释）。 因此，本研究扩展了使用QR方法的优秀思想。
佩赫斯托弗等人在基于DEIM的降阶模型框架下提出了一种过采样点选择方法； 该方法基于在传感器数量大于状态变量数量的情况下某些结构化矩阵更新的最小特征值的下界[16]。 他们表明，他们的建议几乎是 DEIM 研究中报道的现有过采样点选择方法 [7]、[11]、[17]-[19] 中的最佳选择。 本文介绍了一种改进的公式并证明了其单调子模性并展示了其性能。
图 2 总结了本文 NOAA-SST 传感器问题的概念。

本文的主要创新点和贡献如下
• 本文的主要贡献是将之前的DEIM 研究和QR 方法扩展到欠采样和过采样传感器放置的情况，其中传感器的数量分别少于和大于潜在状态变量数量。
• 当传感器数量小于状态变量数量时，数学证明相应矩阵行列式最大化的过程与QR 方法相同（参见定理1）。
• 导出统一的公式，并使用单调子模性显示目标函数的下界。
• 基于上述结果，本文提出了一种新的混合算法。 通过使用随机生成的数据以及机翼周围流场和全球气候的真实数据集来解决问题，通过与其他算法的结果进行比较，证明了所提出的新混合算法的有效性。
• 演示表明，所提出的算法比其他方法更快，并且获得了最高的决定因素之一和几乎最小水平的估计误差。
Joshi 和 Boyd [13] 以及 Manohar 等人提出的方法的结果。 [7]将与我们的结果进行比较。 Peherstorfer 等人提出的方法的结果。 [16]在本文的主要讨论中没有进行比较，因为[16]的目标函数与我们的不同。 相反，本算法相对于 Peherstorfer 等人提出的方法的优越性。 [16]在附录C中通过将算法应用到实际示例中进行了演示。 本文介绍了一种改进的公式并证明了其单调子模性并展示了其性能。

Method

介绍了传感器数量小于模式数量和传感器数量大于或等于模式数量的情况的统一表达式。在这种情况下，考虑项$det(C^{T}C+ϵI)$的最大化，其中$ϵ$是一个足够小的数字。当传感器的数量大于或等于模式的数量时，该目标函数近似对应于$det(C^{T}C)$。另一方面，当传感器p的数量小于模式r的数量时
$$\begin{gathered} det(C^{T}C+ϵI)={ϵ}^{r}det(I+\frac{1}{ϵ}{C}^{T}C) \\ ={ϵ}^{r}det(I+\frac{1}{ϵ}C{C}^T) \\ ={ϵ}^{r-p}det(C{C}^T+ϵI) \end{gathered}$$
然后目标对应于$det(C{C}^T+ϵI)～det(C{C}^T)$的最大化，正如我们在前一小节中所做的那样。因此，近似目标函数被定义为$det(C^{T}C+ϵI)$，它在$ϵ$极限为0的情况下渐近接近行列式的最大值。
尽管这个足够小的$ϵ$函数不应该在计算代码中实现，因为当它足够小而忽略其影响时，它可能包括大的舍入误差，但这个统一的函数将在下一节中用于证明单调子模和讨论近似率。
$$\begin{gathered} (1-\frac{1}{e}(\log det(C_{S_{opt}}^T{C}_{S_{opt}}+ϵI)-r\log ϵ) \\ \le \log det(C_{S_{greedy}}^T{C}_{S_{greedy}}+ϵI)-r\log ϵ \end{gathered}$$

Experienment

进行了数值实验，并对所提出的方法进行了验证。在下文中，比较了贪婪方法的三种不同实现方式：表1中列出的QR、DG和QD方法。这里，QR方法是[7]中提出的贪婪方法，DG方法是用于行列式的纯最大化的贪婪方法。QD方法是贪婪方法，其中一部分被QR方法取代，QR方法在数学上被证明等价于用于行列式的纯粹最大化的贪心方法。表2解释了用于选择p个传感器的每种方法的计算复杂性。
QD方法之所以被包括在内，是因为之前提出的贪婪优化的QR实现比DG方法快得多，并且这两种实现被证明给了我们彼此相同的数值优化解，除了在实际情况中的舍入误差。除了贪婪方法外，随机选择和凸近似方法[13]也被评估为参考。

Conclusion

在高维系统的设计、预测、估计和控制中，传感器的最优布置是一个重要的挑战。在这项研究中，稀疏传感器放置问题被考虑用于最小二乘估计。
首先，重新定义问题的目标函数，使伪逆矩阵运算中出现的矩阵的行列式最大化，从而使相应的置信区间最大化。当传感器的数量小于状态变量的数量时，相应矩阵的行列式的最大化过程被证明在数学上等同于先前的QR方法。另一方面，对于传感器数量大于状态变量数量的情况，我们开发了一种新的算法，然后导出了一个统一的公式，并利用其单调子模性给出了该算法给出的目标函数的下界。在所提出的算法中，通过QR方法获得最优传感器，直到传感器的数量等于状态变量的数量，超过该数量，通过所提出的基于行列式的贪婪方法计算新的传感器，该方法通过行列式公式和矩阵反演引理加速。与其他算法相比，该算法在与翼型周围流场和全球气候相关的数据集上的有效性得到了证明。所提出的基于扩展行列式的贪婪算法的计算时间比其他估计误差最小的方法的计算时间小。所提出的算法的一个弱点是其对噪声的鲁棒性，但它在[28]中得到了解决和改进。贪婪方法的进一步改进将是未来具有挑战性的研究课题。

启发

1. 拓展到欠采样地情况