FourCastNet 论文解析

气象基础模型/气象大模型论文速递
论文链接基于arXiv Feb. 22, 2022版本阅读

几乎是第一篇气象大模型的工作，同时也是为数不多的对precipitation进行预测的模型。

FourCastNet generates a week-long forecast in less than 2 seconds, 45,000 times faster than traditional NWP models on a node-hour basis

Resolution: 0.25 deg (30km)
20 variables at 5 vertical levels

Performance

模型重点预测了10m风速和6小时总降水两个变量。也是目前为数不多的进行降水预测的气象大模型。对于降水的预测是单独通过一个AFNO 的降水诊断模型预测t到t+6小时内的总降水。具体的，和IFS 相比，
better performance compared with IFS model (ACC and RMSE): up to 3 days

Structure

Fourier transform-based token-mixing scheme with a ViT backbone

虽然算子学习有resolution invariant的特征，This architecture is specifically designed for high-resolution inputs，因此可能在低分辨率数据上的表现较差。文章之后进行了coarsen 8x的比较，确实performance有所下降。

Fourier transform

Fourier neural operator，对于Fourier transform的使用原理可以参考之前写的如何理解FNO
AFNO 文章指路

Token mixing

一个值得notice的地方，使用AFNO可以显著地降低memory的消耗。在0.25度分辨率的情况下，batch_size=1时数据+模型的大小是10G。而如果直接使用19层ResNet作为backbone的话，需要83G。FNO的核心部分就是通过Fourier transformer在频域对全局数据进行混合，降低Transformer的复杂度。

这里截取了智能模式系列｜一文读懂FourCastNet：首个全球高分辨率人工智能天气预报模型中的Section3.2。

对于卷积的具体理解可以参考知乎回答如何通俗易懂地解释卷积

Training

选取了0000，0600，1200和1800四个时间点做训练，1979-2015 train，2016-2017 valid，2018及之后 test

在训练阶段，使用X(k)预测X(k+1)（predict one time step)，在微调阶段 predict two time steps，同时用X(k+1), X(k+2)的损失函数优化模型

在64块A100GPU上训练16小时

Precipitation Model

在训练之前的模型的时候没有加入total precipitation，而是在微调阶段加入一个precipitation model学习 六小时内的总降水量，（特别需要注意的是ERA5中的total precipitation是逐小时数据，需要进行预处理），同时对precipitation field进行log-transform

Ensemble forecast

FourCastNet使用集合预测来进行极端天气的模拟。集合预测对于生成极端事件(如飓风)的概率预测非常有用。虽然单个受扰动的集合成员通常表现出比未受扰动的“控制”预测更低的预测技能，但大量这种受扰动的集合成员的平均值比控制的集合成员具有更好的预测技能。

FourCastNet中采用Gaussian random noise来进行初值的扰动。$X^e(k)=X^{true}(k)+\sigma \xi$。
X^{true}是正则化后的初始值，with zero mean and unit variance, $\xi \sim N(0,1)$，$\sigma =0.3$。

Extreme events

1. Typhoon / Hurricanes （ensemble forecast）
   
   注：Hurricanes/Typhoon的捕捉从surface wind speed, 850 hPa wind speed 和 mean sea level pressure 入手
   pressure 入手

2. Atmospheric rivers
   
   注：atmospheric river的捕捉从total column water vapor入手