2025_NIPS_Scalable Transformer for PDE Surrogate Modeling

文章主要内容总结

本文聚焦偏微分方程（PDE）代理建模，提出一种名为Factorized Transformer（FactFormer）的高效Transformer模型。针对传统Transformer在高分辨率网格PDE建模中存在的数值不稳定和计算成本高的问题，FactFormer基于轴向分解核积分，通过可学习投影算子将高维输入函数分解为一维子函数，再利用轴向分解方案计算实例化核，实现了高效稳定的多维度PDE模拟。实验验证了该模型在2D柯尔莫哥洛夫流（256×256网格）、3D烟雾浮力（64×64×64网格）等任务中的准确性和效率，其性能优于FNO、Dil-ResNet等主流基线模型，且在分辨率变化时表现出更强的稳健性。

核心创新点

1. 轴向分解核积分机制：将多维度核积分分解为多个一维轴向核积分，避免传统注意力机制中网格点数量随维度呈指数增长的问题，缓解维度灾难。
2. 可学习投影算子：设计一组可学习积分算子，将高维输入函数投影为一维子函数，既保留关键空间信息，又降低计算复杂度。
3. 结合旋转位置编码（RoPE）：在核函数中融入相对位置信息，提升模型对物理系统时空结构的建模能力，同时保持核函数的平稳性。
4. 高效训练策略：采用潜变量推进（Latent Marching）和前推（Pushforward）技术，减少自回归预测的误差累积，提升长期模拟的稳定性。

---

Abstract