论文速递 | 北航凭借“预训练生成模型”登Nature子刊

❝

本文的主要目标是解决「时空物理场重构中传感数据稀疏」的问题。具体来说，提出了一种稀疏传感器辅助的「基于得分的生成模型」（S3GM），旨在通过稀疏传感器的测量数据来有效地重构和预测时空物理场。

❞

论文地址：

https://www.nature.com/articles/s42256-024-00938-z

研究背景与挑战

理解和控制流体、天体、大气等动力学系统通常需要其**「完整的时空场信息」。然而，现实的物理世界中，我们只能获得这些时空场「非常稀疏」的传感器数据。针对这一问题，现有的数据驱动方法主要包括「传统的数据驱动方法」和「基于神经网络」（NN）的方法，其中，后者具有更强的重构能力。但大多数NN方法采用「端到端模式，泛化性较弱」**。为此，有两种解决思路：

利用先验物理信息，其中的典型方法是**「物理嵌入的神经网络（PINN）」**，但在重训练和收敛性上存在不足。
利用生成模型，学习生成**「未见」样本，并确保输出与训练数据具有「相似分布」**，其中基于得分的生成模型（SGM）具有很好的生成性能。

问题描述

时空场重构具体指求解如下逆问题

其中，y是给定传感器的稀疏测量，x^{t是t时刻的完整信号场状态，H是一种测量因子，epsilon是测量噪声。我们的任务是利用**「含噪声且稀疏」**的y重构t=0到T整个时段内的**「完整信号场状态」**x}t。

方法描述

本文提出了一种**「稀疏传感器辅助的SGM」（S3GM）架构，能够实现zero-shot的时空场重构，包含预训练和生成「两阶段学习」**。

预训练

通过**「自监督学习」方式在大量的时空动态数据上进行预训练。目的是学习到一个能够生成时空动态数据的「联合分布」，有别于端到端的训练方法，这个分布并「不依赖于具体的输入输出对」**。

生成

在模型预训练完成后，采用**「条件采样」技术，基于「稀疏传感器」提供的测量数据进行时空重构和预测，能够实现「zero-shot」重构，，可在「未见过的场景」**中有效地进行时空预测。

实验

在四种不同的**「时空动力学系统」**上测试了S3GM的有效性，包括Kuramoto–Sivashinsky动力学, Kolmogorov湍流，ERA5气象观测和缸流动力学的实验室测量。实验结果表明S3GM

具有高效的时空重构能力：在**「数据高度稀疏且含大量噪声」**环境下仍能有效进行时空重建和预测的能力。
优于传统线性方法：对于复杂系统（如湍流、气象预测、气候建模等）尤其是在**「涉及混沌行为和波传播」**的场景中，相较于传统的线性方法表现出了显著优势。

创新性总结

生成模型

将生成模型与稀疏传感器数据结合，方法**「突破了监督学习」的时空重建框架。通过「预训练」阶段捕获数据的潜在结构，模型能够在数据稀疏情况下进行「有效推理」**。

无监督的自适应学习

采用无监督的预训练策略，「不需要具体标注数据」，通过自监督方式捕捉时空数据的联合分布，这大大提高了其**「适用性和灵活性」**，能够适应复杂和未知的环境。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述