data.py里的各个文件的生成

该文详细描述了data.py文件中处理ERA5陆地数据的过程,包括加载强迫数据和地表数据,使用memmap处理大数据,进行滤波、掩模操作,确定是否执行内存映射,以及训练和测试数据集的创建。数据经过最大最小归一化后被保存,用于后续分析或模型训练。

data.py里的各个文件的生成

Load forcing data

ERA5_LAND_label_4_1990???哪生成的

ERA5-Land_forcing {sr} spatial resolution {year}.npy??哪来的

lat_{s}.npy #109

lon_{s}.npy#110

filter Glacial region

Mask with {sr} spatial resolution.npy#204

Determine whether to perform memmap mapping

# Memmap is to deal with the problem of excessive amount of data

forcing_memmap.npy???#120通过flush

Load land_surface data

ERA5-Land_land_surface {sr} spatial resolution {year}.npy??哪来的

land_surface_memmap.npy?哪生成的!#172通过flush

Load label data

# filter Glacial region

Mask with {sr} spatial resolution.npy#204

Load static_norm data

static_norm.npy#224

Partition and create datasets

Create a training dataset;

The default training data is 1990 to 2019.

x_train.npy???哪生成?通过memmap里的flush

y_train.npy#265

x_test.npy#275 通过flush

normalize

# Adopt maximum and minimum normalization
# There are two forms of normalization: region and gloabl

scaler_x.npy#303,flush

scaler_y.npy#304,flush

Save the normalized dataset

x_train_norm_shape.npy#383

x_test_norm_shape.npy#384

x_test_norm.npy#396

x_train_norm.npy#385,memmap

y_test_norm.npy#401

y_train_norm.npy#402

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值