【文献阅读】

Title

Efficient Sensor Placement for Signal Reconstruction
Based on Recursive Methods

Autor information

引用格式：Li, Bangjun, Haoran Liu, and Ruzhu Wang. “Efficient sensor placement for signal reconstruction based on recursive methods.” IEEE Transactions on Signal Processing 69 (2021): 1885-1898.pdf链接

Full text

Abtract

在许多领域，选择稀疏传感器来恢复全局信号场是一项至关重要的任务。大多数现有的算法通过优化重建标准的替代物来解决这个问题，重建标准依赖于结构假设或低维模型。在本文中，我们提出了一种新的传感器放置方法，将信号重构误差作为代价函数，并通过贪婪过程依次最小化它。此外，我们使用了一个递归公式，该公式可以有效地评估标准的时间和内存。我们还开发了一种面向快速重建的局部优化技术，通过推导计算密集型项目的更新公式，可以在重建精度方面改进次优算法的初始解。在相同的贪婪选择过程下，我们证明了所提出的目标函数的优越性。在数值和真实世界数据集上的实验证明了我们的算法相对于现有方法的优势。

Introduction

传感器网络广泛应用于科学研究和工业领域，以实现系统的设计、监控和控制。在这样的系统中，确定最佳传感器位置是一个中心挑战，由于其复杂性，它仍然是一个活跃的研究课题。通常，稀疏传感器测量的物理现象或信号场的重建在广泛的应用中遇到（例如，热分布[1]、[2]、流体流动[3]、[4]、地理信息[5]等）。在这项工作中，我们关注的问题是从一组潜在位置中选择有限数量的传感器，以最小化恢复误差（使用线性估计器）。这个问题可以用数学公式表示为一个组合优化问题。
尽管这类问题的全局最优解可以通过穷举或分枝定界方法[6]获得，但即使对于中等规模的任务，它通常在计算上也是难以解决的。因此，已经进行了大量的工作来寻找次优但更有效的传感器放置算法。
一种典型的传感器放置方法的主要特征是目标函数（性能标准）和优化技术（选择过程）。源自信息论（例如熵和互信息）和最优实验设计（即“字母”最优）领域的标准最常用于评估传感器配置的质量。这些标准和其他流行的度量通常来源于特定的假设或信号结构，本质上是原始目标函数的替代品，即信号重建精度。
一旦确定了标准，传感器配置的性能在很大程度上取决于优化技术。
引入了启发式算法和机器学习（ML）技术，以降低穷举搜索的昂贵成本。然而，由于这种方法的随机性，它们只有在某些情况下才能很好地工作。凸松弛方法将非凸传感器布局优化问题近似为凸问题，已应用于各种传感器选择问题。贪婪算法已经在大量情况下被证明是有效的，并且它们在计算上是高效的，尤其是对于大规模问题。

在本文中，我们专注于数据驱动的传感器放置，以使用线性估计器进行场重建。 我们建议选择直接最小化先前信号数据的重建误差的传感器组，而不是依赖已知模型或使用代理作为目标函数。 然后我们用贪婪和局部优化算法优化所提出的标准。 考虑到随着问题规模的增长，直接计算重构误差的效率较低，我们推导了优化过程中计算量最大的一串递归公式。 这些推导受到列子集选择领域的最新进展的启发 [7]、[8]，提供与原始方法相同的结果，但大大减少了计算时间和内存成本。
在这项工作中，我们系统地回顾了线性重建的传感器放置所涉及的标准和优化策略。 我们提出了数据驱动的高效贪婪和局部优化方法，直接优化重建误差。 这项工作的主要贡献如下：
1）我们建议直接使用信号场的恢复误差（误差矩阵的 Frobenius 范数）作为面向重建的传感器放置问题的成本函数。 使用线性估计器，无噪声传感器放置可以在数学上解释为行/列子集选择问题。
2）我们提出了一种数据驱动的贪婪传感器放置方法来优化所提出的标准。 我们的方法不依赖于任何限制性假设或定制模型。
据我们所知，这是该领域第一个以重构误差为标准的多项式复杂度算法。
3）对于重构误差评估效率低下的大规模数据矩阵，我们推导了基于递归策略的等效准则，它可以以低得多的计算和内存成本获得相同的解决方案。
4）我们表明，通过基于数值和现实世界数据的实验，所提出的算法优于基于代理的贪婪方法以及其他最先进的方法。
5）通过推导有效的更新公式，我们还开发了一种快速的局部优化技术来提高重建精度方面的解决方案。 该技术可以合并到任何其他现有的次优传感器放置方法中。

Method

原始信号场$x$可以被线性恢复为$\hat{x}=Ty$，其中$T$是将测量值映射到信号场的线性估计器矩阵。目的是在所有可能的组合中找到最佳传感器配置，以最大限度地减小误差：
$$||x-\hat{x}||=||x-Ty|{|}_2^2\text{\hspace{1em}(1)}$$
对于数据驱动地重建任务，（1）的误差矩阵对应形式为：
$$||X-{\hat{X}}_S||=||X-TY|{|}_F^2\text{\hspace{1em}(2)}$$
其中$S$为输入中的无噪声数据。
作者全面介绍了关于传感器放置问题的方法和进展。
然后给出面向重构误差的传感器放置问题：
$$\begin{gathered} \underset{\mathcal{S}\subseteq \mathcal{V}, \\ |\mathcal{S}|=k}{\mathrm{argmin}}F(\mathcal{S})=||X-{\hat{X}}_{\mathcal{S}}||=||X-T{X}_{\mathcal{S}:}|{|}_F^2\text{\hspace{1em}(2)} \end{gathered}$$
当传感器位置（行的子集）$\mathcal{S}$已知，则可以通过解决最小二乘问题找到T的封闭解：
$$T=X{X}_{S:}^{+}=X{X}_{S:}^T(X_{S:}{X}_{S:}^T{)}^{-1}\text{\hspace{1em}(3)}$$
则可以将等式（3）代入等式（2）得到新的优化问题
$$\begin{gathered} \underset{\mathcal{S}\subseteq \mathcal{V}, \\ |\mathcal{S}|=k}{\mathrm{argmin}}F(\mathcal{S})=||X-{\hat{X}}_{\mathcal{S}}||=||X-X_{S:}^T(X_{S:}{X}_{S:}^T{)}^{-1}{X}_{\mathcal{S}:}|{|}_F^2\text{\hspace{1em}(4)} \end{gathered}$$
作者利用贪婪选择方法求解上述等式（4）。
p = arg min ⁡ i ⊆ V ∖ S F ( S ∪ { j } ) = ∣ ∣ X − X P S ∪ { j } ∣ ∣ F 2 (5) p=\argmin_{i\subseteq \mathcal V \setminus\mathcal S}F(\mathcal S\cup \{j\})=||X-XP^{\mathcal S\cup \{j\}}||^2_F\tag 5 p=i⊆V∖Sargmin​F(S∪{j})=∣∣X−XPS∪{j}∣∣F2​(5)
作者随后推导出了等式（5）优化的快速算法。并为了改善解的质量，为所使用的局部优化技术也提供了快速实现的迭代算法。

Experienment

1） 数据集：在这项工作中，考虑了四个示例数据集。
高斯随机矩阵：X∈R100×100是一个具有高斯i.i.d.项的随机矩阵。
伯努利随机矩阵：X∈R100×100是具有伯努利i.i.d.项的随机矩阵。
Yale B:扩展的Yale人脸数据库B[39]，[40]是一个用于面部识别的规范数据集，由2414张图像组成。每个图像被缩小到32×32像素，并被重新整形为数据矩阵X∈R1024×2414的列向量。我们将数据矩阵的每一列标准化为单位。我们选择像素作为传感器来恢复图像。
SST：NOAA_OISST_V21全球平均海面温度数据集，跨度1989～2020，可在线公开[41]，[42]。原始数据包括在360×180空间网格上的1573个快照。我们将每个快照缩小到108×54个节点，并将其重塑为数据矩阵X∈R5832×1573的列向量。数据矩阵的每一列都被标准化为单位。

随机矩阵是唯一一个无偏且灵活的数据集，它允许我们评估不同的传感器放置方法，尽管在现实世界中很少遇到。

我们使用在MATLAB中用svd函数实现的适当正交分解（POD）从训练数据矩阵中提取模型。考虑到简化模型的阶数r的约束，即r≤k，我们在这些算法中总是设置r＝k。

为了评估传感器放置方法在不同数据集上的重建性能，我们将相对误差定义如下：
$$\begin{array}{rl}E(\mathcal{S})& =\frac{||\mathbf{X}-{\hat{X}}_{\mathcal{S}}|{|}_F}{||X|{|}_F}\\ & =\frac{||X-X{X}_{\mathcal{S}:}^{+}{X}_{\mathcal{S}:}|{|}_F}{||X|{|}_F}\end{array}\text{\hspace{1em}(6)}$$
注意，使用基于模型的传感器放置方法的重建通常计算为${\hat{X}}_{\mathcal{S}}=\Phi {\Phi }_{\mathcal{S}:}^{+}{X}_{\mathcal{S}:}$。然而，我们发现这种估计器会导致较差的重建性能，尤其是在传感器数量有限的情况下。因此，用公式（6）来评估所有的传感器放置算法。也就是说，这些算法之间重建性能的差异仅来自于相应的传感器配置S。

对于高斯和伯努利随机数据矩阵，每种传感器放置方法都要进行100次蒙特卡罗模拟。对于每个真实世界数据集（即Yale B和SST）上的实验，从数据矩阵中随机选择70%的样本（列）以形成训练集$X^{tr}$，其余样本用作测试集$X^{te}$。对两组进行10折交叉验证。相应的误差分别表示为$E^{tr}$和$E^{te}$：
$$\begin{gathered} E^{tr}(\mathcal{S})=\frac{||X^{tr}-X^{tr}{X}_{\mathcal{S}:}^{tr \\ +}{X}_{\mathcal{S}:}^{tr}|{|}_F}{||X^{tr}|{|}_F} \end{gathered}$$
$$\begin{gathered} E^{te}(\mathcal{S})=\frac{||X^{te}-X^{tr}{X}_{\mathcal{S}:}^{tr \\ +}{X}_{\mathcal{S}:}^{te}|{|}_F}{||X^{te}|{|}_F} \end{gathered}$$

Conclusion

用于场重建的传感器放置是一个棘手的组合问题。大多数现有的工作都集中在开发一种有效的方法来优化特定的代理。在这项工作中，作者建议通过贪婪的方式和随后的局部优化技术直接最小化重建误差。基于递归策略，我们导出了这种计算和内存昂贵准则的一系列等效变体。据我们所知，所提出的REG算法是第一个具有多项式复杂度保证的面向重构误差的传感器放置算法。
我们进行了蒙特卡洛模拟和真实世界的数据实验，以证明所提出的REG和REOL方法的有效性。结果表明，REG方法在重建精度方面优于最先进的传感器放置算法，这在减少恢复信号场所需的传感器数量方面具有巨大的潜力。所提出的REOL技术能够在几次迭代内提高所有涉及的次优算法的重建性能。同样重要的是，在本文中，我们不仅为传感器放置问题提出了一个新的标准、有效的贪婪和局部算法，而且将其解释为子集或特征选择问题。这意味着来自该社区的一系列潜在想法和方法可以被引入并应用于传感器放置领域。

启发