可解释的Transformer神经网络预测使用天气预报的多样化环境时间序列

本文链接：https://blog.youkuaiyun.com/python1234_/article/details/144181945

可解释的Transformer神经网络预测使用天气预报的多样化环境时间序列

本文是由Enrique Orozco López、David Kaplan和Anna Linhoss撰写的研究报告，发表在《水资源研究》期刊上。文章探讨了Transformer神经网络（TNNs）在环境时间序列预测（TSF）中的应用，特别是在利用历史观测和天气预报信息预测未来环境变量值方面的潜力。研究涉及的领域包括河流流量、水位、水温和盐度等环境变量，研究区域包括佛罗里达的Peace River流域和路易斯安那的墨西哥湾北部。

研究背景

随着气候变化和极端天气事件的增多，对环境预测系统的需求日益增长，这些系统可以指导灾害规划和自然资源管理。机器学习方法，结合大量开放获取的高质量环境数据库，使得对复杂系统和现象的建模成为可能，这些模型在计算效率和性能上往往表现出色。特别是，Transformer神经网络（TNNs）在自然语言处理（NLP）领域取得了突破性进展，并在时间序列预测领域显示出巨大潜力。

研究意义

TNNs在处理空间和时间依赖性方面的能力，使其成为环境时间序列预测的理想工具。此外，TNNs的可解释性，即能够理解模型如何使用输入变量进行预测，对于提高模型的透明度和信任度至关重要。本研究的意义在于探索TNNs在多变量环境预测中的应用，并评估其在不同环境变量和预测窗口中的性能。

研究方法和数据

研究使用了两个数据集，分别来自Peace River流域和墨西哥湾北部。数据集包括了实测和模拟的流量、水位、土壤湿度、降水、温度、风速和太阳辐射等环境变量。研究中使用了TNNs的编码器-解码器架构，并结合了Informer解码器以实现多步预测。通过对训练好的TNNs的注意力权重进行敏感性分析（SA），识别了每个输入变量对每个响应变量在不同预测窗口中的影响。

研究结论

研究结果表明，TNN模型在所有变量和预测范围内的性能从好到非常好（所有变量和预测范围的NSE值在0.78到0.99之间）。通过SA，研究发现TNN能够学习数据背后的物理模式，根据每个预测调整输入变量的使用，并随着预测窗口的增加越来越多地使用天气预报信息。TNN的优异性能和灵活性，以及突出模型预测决策过程逻辑的直观可解释性，为这种架构在其他TSF变量和地点的应用提供了证据。

不足与讨论

尽管TNN在环境预测中显示出巨大潜力，但研究也指出了一些限制。首先，TNNs需要大量的数据进行训练，这在数据稀缺的场景中可能是一个挑战。其次，研究中使用的是再分析的天气预报数据，未来的研究应关注使用实际未修改的预报数据进行训练和测试。此外，对于像河口盐度这样的复杂环境变量，较短的数据可用性可能导致模型性能降低。研究还讨论了模型在极端事件预测中的局限性，特别是在训练数据中未包含的极端事件。

未来工作方向

未来的研究应关注使用实际的天气预报数据训练和测试模型，以及开发能够处理多个流域的通用TNN，包括静态空间特征，使模型能够在不同场景中迁移学习。此外，未来的研究应致力于减少TNNs的内存瓶颈，并探索从空间和时间上提取注意力矩阵以观察变量重要性的可能性。尽管存在局限性，但研究表明，使用实时天气预报训练的操作性TNN可以为水资源管理者和利益相关者提供可靠的信息，以指导适当的管理行动，减轻潜在的社会经济和生态系统损害。

引用信息

Orozco López, E., Kaplan, D., & Linhoss, A. (2024). Interpretable Transformer Neural Network Prediction of Diverse Environmental Time Series Using Weather Forecasts. Water Resources Research, 60, e2023WR036337. https://doi.org/10.1029/2023WR036337

作者：
- Northern Gulf Institute, John C. Stennis NASA Space Center, MS, USA
- Biosystems Engineering, Auburn University, Auburn, AL, USA
- Engineering School of Sustainable Infrastructure and Environment, University of Florida, Gainesville, FL, USA
- Engineering School of Sustainable Infrastructure and Environment, University of Florida, Gainesville, FL, USA
- Northern Gulf Institute, John C. Stennis NASA Space Center, MS, USA
- Enrique Orozco López
- David Kaplan
- Anna Linhoss
出版信息：
- 发表日期：2024年
- 期刊：Water Resources Research
- 卷：60
- 文章编号：e2023WR036337
- DOI：10.1029/2023WR036337