59、基于物理信息的分层学习方法求解偏微分方程

基于物理信息的分层学习方法求解偏微分方程

1. 多尺度偏微分方程求解挑战与现有策略

在基于神经网络的方法求解多尺度偏微分方程（PDE）问题时，存在收敛速度慢或精度低的挑战。由于神经网络在训练过程中若时间不足以学习高频分量，就会遗漏这些高频信息。

为解决这一问题，有研究提出了一种带有输入缩放处理的神经网络架构，它能将高频分量转换为更易于学习的低频分量，并且该网络采用了紧支撑激活函数，可有效应用于多尺度问题。还有研究表明，对输入进行简单的随机傅里叶特征嵌入，能让标准多层感知器（MLP）在计算机视觉和图形学应用中更高效地学习高频分量。具体来说，这种嵌入对应一个从输入 $x \in R^n$ 到 $2m$ 维频域的映射：
[
x \in R^n \to
\begin{bmatrix}
a \odot \cos(B_{\sigma}x) \
a \odot \sin(B_{\sigma}x)
\end{bmatrix}
\in R^{2m}
]
其中，$B_{\sigma} \in R^{n\times m}$ 是从高斯分布 $N(0, \sigma^2)$ 中采样得到的随机波数矩阵，$a \in R^m$ 是缩放向量。通过选择合适的 $\sigma$ 和 $a$，可以分析这种嵌入对标准 MLP 的神经切线核（NTK）的影响，从而减轻频谱偏差。

2. 分层物理信息神经网络（HiPINN）

为了表示 PDE 的多尺度解，提出了一种分层学习的神经网络方法，即分层物理信息神经网络（HiPINN）。它使用一系列神经网络来表示 PDE 的多尺度解，并按顺序进行训练，而非同时训练。这种分层