2024.11.10周报

最新推荐文章于 2025-03-16 17:18:06 发布

Nyctophiliaa

最新推荐文章于 2025-03-16 17:18:06 发布

阅读量982

点赞数 11

文章标签：人工智能机器学习算法

本文链接：https://blog.youkuaiyun.com/m0_68477761/article/details/143666729

版权

一、文献阅读

一、题目

题目：GPT-PINN: Generative Pre-Trained Physics-Informed Neural Networks toward non-intrusive Meta-learning of parametric PDEs

期刊：Finite elements in analysis & design

链接：https://arxiv.org/pdf/2303.14878

二、摘要

PINN在多查询和实时仿真设置下仍然很耗时，它的参数化往往过于过度。本文提出了生成与训练PINN来缓解参数PDE设置的这两个挑战，GPT-PINN代表了一种全新的参数系统元学习范式，它的外/元网络是超精简的，只有一个隐藏层，神经元数量显著减少，它在每个隐藏神经元上的激活函数是在明智选择的系统配置下预训练的PINN，元网络自适应地”学习“系统的参数依赖性，并一次一个神经元地”增长“这个隐藏层。最后通过包含在这组自适应选择的参数值上训练的极少数网络，元网络能够准确有效地为整个参数域的参数系统生成替代解决方案。

PINN remains time-consuming under multi-query and real-time simulation settings, and its parameterization is often overly excessive. This paper proposes the generative and trained PINN to alleviate these two challenges in the parametric PDE settings. GPT-PINN represents a brand-new meta-learning paradigm for parametric systems. Its outer/meta-network is hyper-reduced, featuring only one hidden layer with a significantly reduced number of neurons. The activation function at each hidden neuron is a PINN that has been pre-trained under judiciously selected system configurations. The meta-network adaptively "learns" the system's parametric dependencies and "grows" this hidden layer one neuron at a time. Ultimately, by encompassing a very small number of networks trained on this set of adaptively selected parameter values, the meta-network is capable of generating surrogate solutions for the parametric system across the entire parameter domain accurately and efficiently.

三、模型架构

图的组成部分

1、超降阶神经网络（Hyper-reduced Neural Network）:

(1)网络的节点使用预训练的物理信息神经网络（PINNs）作为激活函数。

(2)每个预训练的PINN对应于特定的参数值 $\mu ^{1},\mu ^{2}...,\mu ^{n}$ ，这些参数值在训练过程中被选择以代表不同的物理或计算情境。

(3)神经网络的输入包括空间位置x和时间t，输出 $u_{N}(x,t;\mu )$ 为参数 $\mu$ 下的PDE的解。

2、生成式在线组件（Generative Online Component）:

(1)这部分用于在给定新的参数提示 $\mu$ 时，动态生成PDE解的过程。

(2)包括处理偏微分方程、边界条件和初始条件的各种运算和微分。

(3)利用自动微分技术预计算值和导数，以便快速响应。

目标是通过训练权重 $c_{1}(\mu ),c_{2}(\mu )...c_{n}(\mu )$ 最小化在新参数 $\mu$ 下的损失。

工作原理

输入层：接收空间和时间的输入值x和t，这些是PDE求解中的常见变量。

隐藏层：由预训练的PINNs构成，每个PINN都是在特定参数设置下预训练的，能够快速响应相关参数的变化。

输出层：生成PDE在新的参数设置 $\mu$ 下的解 $u_{N}(x,t;\mu )$ 。

四、文章解读

一、Introduction

文章阐述了在许多应用中，准确且高效地理解系统在多参数变化下的行为是一个普遍需求，如不确定性量化、逆问题、数据同化或最优控制/设计。文中提到，研究系统行为及其对参数的依赖需要进行大量的偏微分方程（PDE）模拟，这在使用传统数值方法时，尤其是在需要大量重复模拟的情况下，将是计算上的挑战。文章提出了基于深度学习的两种主要技术来应对这一挑战：传统的降阶建模和新兴的深度神经网络。降阶基方法（RBM）作为一种基于投影的模型降阶方法，能够生成参数化问题的计算模拟器，并具有与全问题相比的认证误差。而物理信息神经网络（PINN）则采用深度神经网络来代表PDE的近似解决方案，相较于传统数值解法，PINN能够定义整个连续的空间时间域上的函数，并依赖于自动微分技术。尽管PINN展示了其优势，但在多查询和实时模拟环境中，PINN的训练仍然耗时且其参数化通常过度。因此，文章引入了生成预训练PINN（GPT-PINN），这是一种全新的参数系统元学习范式。通过在精简的外部/元网络中预训练的PINN作为激活函数，GPT-PINN能够适应性地"学习"系统的参数依赖性，并在整个参数域内准确且高效地生成替代解决方案。

二、创新点

1、将整个（预训练）的网络用作单个神经元的激活函数。

2、采用元网络的训练损失作为误差指标，收到传统数值求解器（FEM）基于残差的误差估计的启发。

三、RBM

RBM（Reduced Basis Method）是一种线性降阶方法，被广泛用于精确且高效地模拟参数化偏微分方程（PDEs）。其核心特征是利用离线-在线分解过程中嵌入的贪心算法。

1、离线阶段

在离线（即训练）阶段，RBM专注于通过数学严谨的贪心算法来探索由参数引起的解流形，从而选择一系列代表性的参数值。这一阶段的目的是为在线计算构建一个终端代理空间，并从中寻求每个未见参数值的简化解。

2、在线阶段

在在线阶段，针对每个新的参数值，都会在终端代理空间中寻求一个简化解。与其他降阶技术（如基于适当正交分解（POD）的方法）不同，RBM在离线阶段进行的全序查询次数最少，即等于代理空间的维度。

在给定 μ 的情况下，这种简化阶模型（ROM）的表述被称为 ROM( $\mu ,X_{N}$ )，其解决成本远低于 FOM( $\mu ,X_{h}$ )，并可以在在线阶段进行。

四、贪心算法

GPT-PINN离线训练阶段的流程图，详细展示了如何训练生成预训练物理信息神经网络（GPT-PINN），用于参数化偏微分方程（PDE）。以下是流程图中各个步骤的详细解释:

输入：随机或指定的初始参数 $\mu ^{1}$ ，一个训练集 $\Xi _{train}$ ，以及一个完整的物理信息神经网络（Full PINN）。

训练步骤：

1、在 $\mu ^{1}$ 上训练全PINN：在置顶的参数 $\mu ^{1}$ 上训练一个完整的PINN，获取 $\Psi _{\Theta _{1}}^{NN}$ ，这是对应于 $\mu ^{1}$ 的解的神经网络表达。

2、初始化的迭代训练：

(1)设置 n=2，开始迭代过程。

(2)对于训练集中的每个 $\mu$ ，训练一个简化的GPT-PINN网络 NN(2,n−1,1) 并记录错误指标 $\Delta _{n-1}(\mu )$ 。

(3)选择下一个参数 $\mu ^{n}$ ，它使得 $\Delta _{n-1}(\mu )$ 最大，即选择误差最大的参数进行进一步训练。

(4)在新选定的 $\mu ^{n}$ 上训练全PINN，得到新的神经网络表达 $\Psi _{\Theta _{n}}^{NN}$ 。

(5)更新GPT-PINN，向隐藏层添加一个新神经元，构建NN(2,n,1)。

(6)n←n+1，继续迭代直至满足停止条件。

输出：训练完成的GPT-PINN NN(2,N,1)，其中 NNN 是最终的神经元索引。

如上图所示：

(1)流程图从“开始”标志开始，首先选择一个参数 $\mu ^{1}$ 并设置一个空的GPT-PINN。

(2)经过一系列的训练和选择步骤，不断迭代增加网络的复杂性。

(3)每次迭代都涉及在当前网络上训练，并基于误差指标选择新的参数进行下一轮训练。

(4)当误差指标 $\bigtriangleup _{n}(\mu (c(\mu )))$ 小于某个阈值 $\varepsilon$ 或达到其他停止条件时，流程结束。

五、实验

本文将GPT-PINN应用于Klein-Gordon方程、Burgers’方程和Allen-Cahn方程三类方程的数值结果。

1、Klein-Gordon Equation

首先测试Klein-Gordon方程参数化为 $(\alpha ,\beta ,\gamma )$ $\epsilon$ [-2,-1] $\times$ [0,1] $\times$ [0,1]

full PINN是一个具有激活函数cos(z)的[2,40,40,1]的全连接网络，它使用均匀分布的配点来训练，其中| $C_{o}$ |=10000，| $C_{\partial }$ |=512，| $C_{i}$ |=512，ADAM优化器的学习率为0.0005，最大epoch数为75000，参数训练集 $\Xi _{train}$ 是一个大小10 $\times$ 10 $\times$ 10的张量网格，共有1000个参数值，贪心算法产生的gpt - pin的大小为[2,1,1]到[2,15,1]，最多可生成15个神经元。

左图是一个三维散点图，显示了参数 $(\alpha ,\beta ,\gamma )$ 的选择分布。每个点代表一个参数组合，点上的数字表示按贪心算法选择参数的顺序。这种分布可帮助我们了解在参数空间中，哪些区域被认为是对模型训练影响最大的，因此优先被选择进行训练。

中间的图展示了两种不同类型的神经元训练策略——自适应神经元和均匀神经元——随着神经元数量增加的最大训练损失。这表明自适应选择可以更有效地减少模型的误差，尤其是在初始阶段。

右图是Box and Whisker图，显示了训练过程中所有自适应GPT-PINN训练损失的统计数据。损失的快速减少表明了模型在迭代过程中对Klein-Gordon方程解的逼近逐渐提高，尤其是中位数和平均数线表明了主要的趋势。

2、Burgers’ Equation

接下来，我们用一个参数，粘度ν∈[0.005,1]，在Burgers方程上测试GPT-PINN。

完整PINN是一个具有激活函数tanh(z)的[2,20,20,20,20,20,20,1]全连接网络，使用均匀分布的配点训练，| $C_{o}$ | = 10,000， | $C_{\partial }$ | = 100，| $C_{i}$ | = 100。ADAM优化器的学习率为0.005。最大次数为60000次，在损失值上实现 $2\times 10^{-5}$ 的停止标准。参数训练集是ν域中大小为129的均匀网格。贪心算法产生的gpt - pinn的大小为[2,1,1]至[2,9,1]，最多可生成9个神经元。gptpinn在与完整PINN相同的搭配点集上进行训练，但学习率为0.02和2000 epoch。

与Klein-Gordon方程的结果类似，自适应“学习神经元”的表现再次比非自适应“统一神经元”好3到4倍。

这张图展示了用于Burgers'方程的物理信息神经网络（PINN）和生成预训练物理信息神经网络（GPT-PINN）的训练损失以及解的点误差分布。整体来看，这张图有效地展示了全PINN和GPT-PINN在处理Burgers'方程时的性能差异。特别是GPT-PINN在训练效率和损失收敛速度上显示出了显著的优势。通过这些观察，可以评估使用GPT-PINN对于快速求解参数化PDEs的潜在益处，尤其是在需要处理多参数或实时仿真场景的应用中。

六、结论

本文提出的生成式预训练PINN (GPT-PINN)缓解了参数化pde设置中PINN面临的两个挑战，即训练成本和过度参数化。GPT-PINN是一个具有预训练的激活函数的超简化网络，代表了参数系统的一种全新的元学习范式。本文提出了两个主要的新颖之处，即网络结构的设计，包括其特殊的激活函数和采用元网络的训练损失作为误差指标，并通过对三个微分族参数方程的测试，已经证明，包含非常少量的精心选择的网络可以在整个参数域准确有效地生成代理PINN。