Neural general circulation models

气象基础模型/气象大模型论文速递

论文链接 基于arXiv Nov.28, 2023版本阅读

与其他的气象大模型不同的是，其他的气象大模型例如Pangu-Weather，ClimaX，GraphCast等都是典型data-driven模型，而Neural GCM通过保留动力框架中的物理方程，而在单柱里使用NN替换物理参数化方案，并且在encoder decoder中加入NN来平滑输入输出变量，达到可以在年际尺度稳定运行的效果（同时在短期和中期预报中也有很好的效果）。
在动力框架和物理参数化方案部分输入不完全相同的变量，使模型具有更好的可解释性和物理意义

Performance

1. 1-10 day with ML models
2. 1-15 day with ECMWF ensemble prediction

Comparison Experiments

Weather: ECMWF-HRES, ECMWF-ENS, GraphCast, Pangu-weather
Climate: Global Cloud Resolving Model - GFDL’s X-SHiELD, AMIP

Data

2.8, 1.4. 0.7 horizontal resolutions with 32 evenly spaced vertical levels on sigma coordinates
目前没看到完整的input表格，只能从模型框架中推测一些使用的变量
也有对降水的预测，但好像是诊断变量而非预测变量

Model Structure

Dynamical Core 动力框架

模型保留了动力框架中一部分物理方程，使用Python中的高性能自动唯粉求解库JAX，保留了如下图所示的

1. momentum equations
2. the second law of thermodynamics
3. a thermodynamic equation of state (idea gas)
4. continuity equation
5. hydrostatic approximation

动力框架部分的预测变量为
divergence $\delta$ (wind u v)
vorticity $\zeta$
temperature T
log surface pressure $log{p}_s$
specific humidity q
specific cloud ice q_ci
specific liquid cloud water content q_cl

Physics module 物理参数化方案

输入Physics module部分的变量。在单柱中使用NN进行建模。

Learned encoder

主要由三部分组成，learned体现在第三部分，通过加入NN来平滑输入

1. compute surface pressure for each longitude, latitude
2. interpolate relavant atmospheric variables to sigma coordinates
3. a correction with NN structure to interpolate results, avoiding initialization shock, which will contaminates forecasts with rapid oscillations

Learned decoder

主要由三部分组成。

1. diagnose geopotential from temperature and moisture
2. interpolate the results to pressure levels of ERA5
3. a correction with NN structure to interpolate results

Train

Time integration

与其他气象大模型使用6h作为time interval不同，动力框架中为了保证运算的稳定性需要满足CFL条件，因此可以看出，当分辨率提高的时候，积分步长也逐渐减小。但由于参数化方案部分的运算较动力框架部分更为缓慢，因此使用常值代替一部分的输出，以加速模型的运行速度。

Loss function

three loss functions in a spherical harmonics basis，这三个loss function保证了years-to-decades的稳定运行

1. a standard MSE loss
2. squared loss on the total wavenumber spectrum of prognostic variables
3. MSE on the batch-averaged mean amplitude of each spherical harmonic coefficient

Learning Rate

start from 15000 steps, exponential decay with rate 0.5

最后对decoder进行了一些微调

整体训练时间和硬件信息

Ensemble forecast

通过inject noise by sampling from Gaussian random fields with learned spatial and temporal correlation 来进行初值的扰动。在2.8和1.4度的空间分辨率上进行的集合预报实验。

Climate Simulations

Seasonal - compared with GFLD’s X-SHiELD

run 2-year simulations with 37 different initial conditions spaced at 10 days for the year 2019. 35 of 37 successfully completed full two years without encountering model instability.

Decadal - compared with AMIP

run 40-year simulation with 37 different initial conditions spaced every 10 days during 1980. 22 simulations were stable for the entire 40-year period