裁剪到各省！全球/中国/各省降水数据集(1940-2024年)

最新推荐文章于 2025-06-29 18:18:54 发布
最新推荐文章于 2025-06-29 18:18:54 发布
阅读量463 收藏 3
点赞数 21
CC 4.0 BY-SA版权
文章标签： 人工智能 机器学习 大数据 业界资讯 政务
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/PPdata_Academy/article/details/148625845

 数据简介

       之前我们有分享过月度的平均降水量数据(见前文)，今天我们分享的数据是全球/中国/分省年降水数据集，该数据集是基于之前的月度降水数据进行处理后得到的年度降水数据，包含全球从1940到2024年年度的降水数据，并且为了便于使用，我们将其裁剪为中国区域以及各个省的区域，方便大家研究使用。

     该数据集长达八十余年的连续记录为深入研究中国区域的降水长期变化规律、极端降水事件频率与强度的时空演变提供了核心数据支撑，对于解析全球变暖背景下中国气候响应特征、揭示区域水循环变化机制至关重要。该数据集能直接服务于中国水资源评估与管理、农业旱涝灾害风险预警、生态环境演变模拟以及重大水利工程的气候适应性研究等领域。其易用的Tif格式和中国边界裁剪极大提升了研究效率，为科学家精准评估气候变化对中国水资源安全的影响、支撑国家防灾减灾和水资源可持续利用战略提供了不可替代的高质量基础数据。

数据详情

数据来源：https://cds.climate.copernicus.eu/datasets/reanalysis-era5-single-levels-monthly-means?tab=download#area

数据时间：1940-2024

数据单位：米

数据精度：0.25°

数据频度：年

数据范围：全球/中国

数据格式：Tif

数据概览

该数据集包含从1940年到2024年逐年的全球/中国以及中国分省的栅格数据，概览如下：

图片

全球2004年降水栅格图

图片

中国2004年降水栅格图

图片

四川2004年降水栅格图

Pandas进行时间序列索引与频率处理
Mr数据杨
08-17 150
在日常数据分析工作中，时间序列数据的处理占据着重要的地位。时间序列不仅包含数值信息，还包括时间维度，如何有效地对时间进行索引、调整频率、处理时区等，是分析师和开发人员经常遇到的挑战。为了能更好地组织和分析时间序列，Python中的pandas库提供了一系列非常强大且灵活的工具来处理这些问题。本教程将介绍如何使用pandas库中的一些关键方法对时间序列的数据进行索引、频率处理、时区转换等操作，帮助有效应对实际数据中的多样化需求。
【智慧农业 × 国产大模型】智能病虫害识别与作物产量预测工程实践全流程解析
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-03 2743
随着农业智能化进程加速，传统依赖人力经验的病虫害识别与作物产量评估方式，已无法满足大规模、精细化生产需求。本文基于国产大模型的实际应用案例，深入解析如何构建面向田间场景的“病虫害识别+产量预测”一体化系统。系统涵盖多模态图像采集、时序数据建模、模型推理部署与边缘端优化，结合真实农田数据与工程部署细节，提供一条从数据到决策闭环的农业AI落地路径。
DEM数据全国各省的裁剪与分享(30m、90m、250m、1000m)
锐多宝的地理空间
08-19 5803
1.简介： 数字高程模型（Digital Elevation Model)，简称DEM，是通过有限的地形高程数据实现对地面地形的数字化模拟。 这次分享的数据是全国34个省份的DEM裁剪数据，一共有6期数据。 分享的数据效果如上图所示。 2.背景介绍 首先，自己的百度云盘堆满了各种DEM数据，但都是单景，每一次使用都需要进行按区域裁剪、镶嵌。做得多也就烦了。 正好，前段时间研究了一下GDAL与Geopandas结合到一起，进行栅格的批量裁剪与转换。我就一次性地把DEM都裁剪到了省。 人数多了，就想要更多
【VTK】裁剪1-VTK中Clip/Trim总结
qq_40041064的博客
11-11 2900
简介：本博文主要介绍VTK中几个常见的Clip/Trim接口，同时介绍下3-matic软件中对应的功能；希望能帮到各位小伙伴，有什么问题欢迎交流学习。
果蔬识别数据集.zip
06-05
本数据集“果蔬识别数据集.zip”提供了12种常见果蔬的图像，包括土豆、圣女果、大白菜、大葱、梨、胡萝卜、芒果、苹果、西红柿、韭菜、香蕉和黄瓜，这为开发和训练果蔬识别模型提供了丰富的素材。 在机器学习领域，...
详解RT-DETR网络结构/数据集获取/环境搭建/训练/推理/验证/导出/部署
热门推荐
Snu77的博客
11-27 4万+
本文给大家带来是利用RT-DETR模训练自己的数据集，RT-DETR是一种新提出的目标检测模型，它利用的自注意力机制来处理图像数据。不同于YOLO通过连续的卷积层直接对图像区域进行分析，RT-DETR采用Transformer架构中的自注意力机制，这允许模型更有效地理解图像中不同部分之间的关系。这种方法使得RT-DETR在处理图像中的复杂场景和多对象环境时，能够展现出更高的准确性和效率。此外，RT-DETR在保持高精度的同时，也针对实时处理进行了优化，使其适合需要快速响应的应用场景。
CIFAR10数据集免费下载
02-20
CIFAR10数据集是计算机视觉领域一个广泛使用的数据集，特别适合于深度学习模型的训练和测试。这个数据集包含10个类别的彩色图像，每类有6000张32x32像素的小图片，共计60000张。这些类别包括飞机、汽车、鸟类、猫、...
FPGA在AI推理加速中有哪些优势
szxinmai的博客
06-29 535
FPGA在AI推理加速中的优势显著，主要体现在四个方面：能效优化（功耗仅为GPU的1/3~1/2，稀疏计算加速能效比提升3倍）、低延迟（端到端推理<1ms，消除I/O瓶颈）、架构灵活（动态重构支持多模型切换，算子利用率达80%+）以及边缘适配（小型化设计功耗<5W，支持宽温运行）。实测显示，FPGA在Llama2推理和剪枝ResNet等场景中性能超越GPU200%-300%。但FPGA开发门槛高且成本较高（高端芯片达$5000+），更适合高价值定制化场景。
深度学习在智能城市中的创新应用与未来趋势
qq_74383080的博客
06-25 957
在当今数字化时代，智能城市的发展正以前所未有的速度推进，而深度学习技术作为人工智能的核心力量，正在为智能城市的建设带来新的突破和创新。从交通管理到能源优化，从公共安全到环境监测，深度学习的应用正在逐步提升城市的智能化水平和居民的生活质量。本文将探讨深度学习在智能城市中的创新应用，并展望其未来的发展趋势。
快速傅里叶变换(FFT)是什么？
guigenyi的专栏
06-26 1520
快速傅里叶变换（FFT）是高效计算离散傅里叶变换（DFT）的算法，将复杂度从O(N²)降至O(N logN)。通过分治策略和对称性优化，FFT使数字信号频域分析变得实用，广泛应用于信号处理（频谱分析、滤波）、图像处理（压缩、滤波）、音频处理及科学计算等领域。其核心价值在于将原本计算量巨大的DFT转化为高效运算，为现代数字技术（如通信、多媒体）奠定了基础，成为数字信号处理最重要的算法之一。
PyWavelets
shangjg3的博客
06-27 505
PyWavelets（pywt）是Python中用于小波变换的核心库，提供了丰富的信号处理和图像处理功能。
从0开始学习计算机视觉--Day04--线性分类
Chef_Chen的博客
06-26 283
线性分类器这种识别图片的方法，有点类似于模版匹配，即模型对该类别图片的理解来源于一个模版，如果给出的是货车的图片，模型会尝试求可能得模型的轮廓并得出一个每个类别变体的平均值来作为答案，但这也会导致该类的行向量去判断的准确率降低。与之前用KNN算法进行图片分类不同的是，在这个模型的例子中，不需要将训练的数据集与测试集去一一比对找最相似的类别，相反我们只需要在测试时，有输入图片得到的参数和权重就可以知道图片所属的类型了，这也意味着这个模型可以适配在很多设备上，包括电脑甚至手机。
开源版gpt4o 多模态MiniGPT-4 实现原理详解
酌沧
06-28 1000
MiniGPT-4是开源的GPT-4的平民版。本文用带你快速掌握多模态大模型MiniGPT-4的模型架构、训练秘诀、实战亮点与改进方向。
牛客 AI 面试 Ultra 版升级：开启招聘新纪元
新一代数智化校园招聘引领者
06-24 667
牛客AI面试Ultra版带来招聘技术革新：支持一题多维追问、全语音交互、唇音同步和定制数字面试官四大功能，显著提升面试效率和候选人体验。企业实测显示招聘时效提升12倍，成本降低55%，同时强化雇主品牌形象。这款产品通过AI技术重塑面试流程，帮助HR实现高效精准的人才选拔，在激烈的人才竞争中赢得先机。
AI日报 - 2025年06月27日
NingboWill的博客
06-27 777
AI人工智能日报新闻和最新AI工具
人脸识别算法赋能园区无人超市安防升级
yangbisheng1121的博客
06-25 725
摘要：人脸识别算法助力园区无人超市实现智能安防升级，通过人脸识别检测、人员入侵算法和疲劳检测算法的协同应用，构建高效精准的安防体系。该系统具备高精度识别（准确率≥98%）、环境适应性强（支持红外补光和动态背景建模）和低成本管理（减少30%人力投入）等优势，实现了从身份核验、行为监控到疲劳预警的全流程覆盖。该方案为无人零售行业提供了可复制的智能化转型实践范式，未来有望在更多场景释放价值。
从零开始构建RAG（检索增强生成）
qq_63708623的博客
06-28 799
为什么需要分块？LLM的上下文窗口是有限的，我们不能把整篇文档都塞给它。同时，为了进行有效的向量检索，我们需要将文档分割成更小、语义集中的单元。好的分块策略是RAG系统性能的关键之一。这个尊重段落：它首先以\n\n(空行) 为分隔符，将文本分割成段落。这保留了文本的自然结构，避免了从一句话中间切断的尴尬情况。组合段落：然后，它会尝试将多个连续的段落组合在一起，直到它们的总长度接近我们设定的chunk_size。重叠 (Overlap)：当一个块创建完成后，下一个块会从上一个块的末尾回退个字符开始。
day46 通道注意力(SE注意力)
最新发布
weixin_68674900的博客
06-29 553
本文研究了通道注意力机制在CNN模型中的应用效果。首先介绍了注意力机制的基本概念，指出其通过动态权重聚焦关键信息的特点。随后构建了一个基础CNN模型在CIFAR-10数据集上进行训练，获得84.68%的测试准确率。通过特征图可视化分析，展示了不同卷积层提取的特征从低级到高级的抽象过程。在此基础上，引入了通道注意力模块（SE模块），该模块通过全局平均池化、全连接层和Sigmoid激活学习通道重要性权重。实验结果表明，加入通道注意力后模型准确率提升至85.38%，验证了注意力机制的有效性。研究采用消融实验方法，
报错KeyError: "'time' is not a valid dimension or coordinate for Dataset with dimensions FrozenMappingWarningOnValuesAccess({'valid_time': 215759, 'latitude': 32, 'longitude': 23})" 已知变量列表: ['number', 'valid_time', 'latitude', 'longitude', 'expver', 'tp'] 变量详细信息： 变量名: number 维度: () 数据类型: int64 单位: 1 ------------------ 变量名: valid_time 维度: ('valid_time',) 数据类型: int64 单位: seconds since 1970-01-01 ------------------ 变量名: latitude 维度: ('latitude',) 数据类型: float64 单位: degrees_north ------------------ 变量名: longitude 维度: ('longitude',) 数据类型: float64 单位: degrees_east ------------------ 变量名: expver 维度: ('valid_time',) 数据类型: <class 'str'> ------------------ 变量名: tp 维度: ('valid_time', 'latitude', 'longitude') 数据类型: float32 单位: m 请修改并给出完整脚本
04-23
<think>好的，我现在需要帮助用户解决他们在处理.nc文件时遇到的KeyError: 'time'错误，并提供一个完整的脚本来计算陕西省降水量的95%百分位阈值。用户提到需要使用valid_time变量代替time变量进行操作，所以首先我得确认他们的数据中时间维度的名称是否为valid_time。 首先，回顾用户之前的问题，他们提供了多个.nc文件，路径是E盘下的shuju/ERA5目录，文件名涵盖2000年到2025年的数据。之前的回答中使用了xarray库来读取和处理这些数据，但在处理时间维度时假设变量名为'time'，而用户现在遇到了KeyError，说明实际的时间变量名可能不同。用户明确指出需要使用valid_time代替time，这可能是因为ERA5数据中的时间维度名称是valid_time，而不是time。 接下来，我需要调整代码中的时间处理部分。首先，读取数据时可能需要指定时间变量为valid_time。但xarray的open_mfdataset函数通常会自动处理时间坐标，所以也可能需要检查数据集中时间维度的实际名称。此外，用户提到需要处理2000年到2025年的数据，但最后一个文件是202401-202504.nc，可能包含到2025年4月的数据，因此需要确保时间切片正确，只包括到2024年12月的数据，或者根据实际文件内容调整时间范围。 在数据预处理部分，用户需要筛选5月至9月的数据。原来的代码使用了shaanxi['time.month'].isin([5,6,7,8,9])，但现在时间变量名为valid_time，因此需要改为shaanxi['valid_time.month'].isin([5,6,7,8,9])。同时，在计算百分位数时，维度参数dim应改为valid_time而不是time。 另外，用户可能没有正确转换时间坐标，导致在筛选月份时出现错误。需要确保xarray能够正确解析valid_time为时间坐标。可能需要使用xarray的decode_cf参数或者在打开数据集时明确设置时间维度。 还可能存在的问题是数据合并时的对齐问题。当使用open_mfdataset合并多个文件时，如果每个文件的时间坐标不一致或存在重叠，可能会导致错误。需要检查合并后的数据集是否正确，时间维度是否正确对齐。 此外，用户可能需要处理降水变量的单位转换。假设变量'tp'的单位是米，需要转换为毫米，乘以1000，但需要确认数据集中'tp'的实际单位，避免错误转换。如果单位已经是毫米，则不需要转换，否则转换是必要的。 在验证结果时，用户可能需要可视化检查阈值的地理分布，确保计算结果的合理性。同时，保存结果到新的.nc文件时，要确保文件路径正确，具有写入权限。 最后，用户可能需要处理大数据量时的内存问题。如果数据集过大，可能需要分块处理或使用Dask来优化性能，但用户当前的问题主要是解决KeyError和正确计算百分位数，因此可能暂时不需要处理性能优化，但可以作为一个相关问题提及。 总结步骤： 1. 使用valid_time作为时间变量，调整所有涉及时间维度的代码部分。 2. 确保正确合并多个.nc文件，处理时间坐标。 3. 筛选5-9月的数据，并计算各站点的95%百分位数。 4. 处理可能的单位转换问题。 5. 验证结果并保存。</think>以下是针对`valid_time`变量调整后的完整解决方案，包含错误处理和计算逻辑： --- ### 完整脚本（解决KeyError问题） ```python import xarray as xr import numpy as np # ---------------------------- # 1. 数据读取与时间处理 # ---------------------------- file_paths = [ r'E:\shuju\ERA5\200001-200212.nc', r'E:\shuju\ERA5\200301-200512.nc', # ... 添加全部9个文件路径 r'E:\shuju\ERA5\202401-202504.nc' ] # 显式处理时间坐标 ds = xr.open_mfdataset( file_paths, combine='by_coords', decode_times=True, # 确保自动解析时间 chunks={'valid_time': 100} # 使用Dask分块处理大数据 ) # ---------------------------- # 2. 陕西省范围裁剪 # ---------------------------- shaanxi = ds.sel( longitude=slice(105.5, 111.2), latitude=slice(39.6, 31.7) # xarray纬度降序排列 ) # ---------------------------- # 3. 时间筛选关键步骤 # ---------------------------- # 验证时间变量名称 print("数据集维度:", shaanxi.dims) # 确认valid_time是否存在 # 创建时间筛选条件 time_filter = ( (shaanxi['valid_time.month'] >= 5) & (shaanxi['valid_time.month'] <= 9) & (shaanxi['valid_time.year'] >= 2000) & (shaanxi['valid_time.year'] <= 2024) # 数据截止到2024年4月 ) # 应用筛选 summer_precip = shaanxi['tp'].where(time_filter, drop=True) # ---------------------------- # 4. 计算95%百分位阈值 # ---------------------------- # 单位转换（ERA5降水单位通常是m） precip_mm = summer_precip * 1000 # 转换为毫米 # 分位数计算 threshold_95 = precip_mm.quantile( q=0.95, dim='valid_time', # 使用修正后的维度名称 skipna=True, interpolation='linear' ) # ---------------------------- # 5. 结果保存与验证 # ---------------------------- threshold_95.to_netcdf('Shaanxi_Extreme_Precip_Threshold.nc') # 快速验证 print("计算完成，示例阈值：\n", threshold_95.isel(latitude=10, longitude=10).values) ``` --- ### 关键修改说明 1. **时间维度修正**： - 使用`valid_time`替代原`time`维度[^1] - 通过`print(ds.dims)`验证维度名称 - 筛选逻辑使用`valid_time.month/year` 2. **内存优化**： - 添加`chunks`参数启用Dask分块计算 - 避免直接加载全部数据到内存 3. **时间范围修正**： - 由于最后一个文件截止到2025年4月，实际有效年份为2000-2024年 - 筛选条件调整为`valid_time.year <= 2024` --- ### 常见问题排查表 | 错误现象 | 解决方案 | |---------|----------| | `KeyError: 'valid_time'` | 检查原始数据维度名称，使用`ds.dims`确认实际时间维度名 | | 计算结果全为NaN | 检查降水变量名是否为`tp`，确认`.where(drop=True)`生效 | | 内存不足 | 减少`chunks`大小或使用`dask.distributed`集群 | ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值