python xarray+dask 处理较大的空间数据

最新推荐文章于 2025-11-12 03:09:42 发布

原创

最新推荐文章于 2025-11-12 03:09:42 发布 · 4.9k 阅读

34 ·

CC 4.0 BY-SA版权

本文介绍了如何使用Dask库来处理大型空间栅格数据，通过分块并行计算提升性能。示例展示了如何读取数据、调整chunk大小、进行年均值计算，并利用apply_ufunc进行自定义函数计算。此外，还提到了使用ProgressBar进行计算进度监控，以及将计算结果写入NC文件的过程。Dask在处理复杂计算和大数据时能显著提高效率。

文章目录

在自己的电脑上处理长时间高分辨率的空间栅格数据时，经常因为数据量过大而导致代码难以运行。在使用python的 xarray包处理分析数据时，可以利用 dask包对较大的数据进行分块并行计算。

xarray中关于dask并行运算的介绍

使用月均海表温度数据（sst）举个例子

使用dask

需要先安装好 dask 包

import xarray as xr
import dask
import matplotlib.pyplot as plt

## 正常读取数据
data = xr.open_dataset('sst.mnmean.nc')[

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

today.zhang

关注关注

7
点赞
踩
34

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

17、如何批量读取nc数据？

小兔子乖乖

07-11

2102

str。

Python大数据分析神器---Dask

XIe_0928的博客

02-05

838

对于Pandas运行速度的提升方法，之前已经介绍过很多回了，里面经常提及Dask，很多朋友没接触过可能不太了解，今天就推荐一下这个神器。 1、什么是Dask？ Pandas和Numpy大家都不陌生了，代码运行后数据都加载到RAM中，如果数据集特别大，我们就会看到内存飙升。但有时要处理的数据并不适合RAM，这时候Dask来了。 Dask是开源免费的。它是与其他社区项目（如Numpy，Pandas和Scikit-Learn）协调开发的。官方：https://dask.org/ Dask支持Pan..

参与评论您还未登录，请先登录后发表或查看评论

告别内存焦虑！用Dask打开Python大数据并行计算的“任意门“

yue_yun_的博客

07-14

1335

Dask的出现，让Python开发者无需学习Scala/Java，也能轻松处理GB到TB级别的数据。从单台电脑的多线程并行，到多机集群的分布式计算，Dask用"兼容Pandas"的低学习成本，为大数据处理打开了一扇"任意门"。你用Dask处理过哪些"大到离谱"的数据集？是日志分析、用户行为统计，还是科学计算？在分布式集群中遇到过哪些有趣的挑战（比如网络延迟导致的任务失败）？欢迎在评论区分享你的实战故事——你的经验，可能是其他开发者解决问题的关键灵感。

学习笔记3 | 高维数据处理——Xarray

qq_53185200的博客

01-01

5658

高维数据处理笔记包括：Xarray数据结构、数据读取、索引、坐标系统、统计、可视化和掩膜

气象数据grib/grib2的处理方法汇总

最新发布

gitblog_00274的博客

11-12

710

还在为海量气象数据处理效率低下而烦恼？一文解决你的高性能计算难题！读完本文，你将掌握： - ✅ Dask与Xarray的完美结合使用技巧 - ✅ 大规模气象数据的并行处理方法 - ✅ GraphCast项目中实际应用案例 - ✅ 内存优化与性能提升实战经验 ## 为什么选择Dask + Xarray组合？在气象预报领域，数据量往往达到TB级别。GraphCast项目巧妙地将Dask的并

python中基于xarray处理netcdf文件时，加速处理速度

Blue_wjh的博客

10-13

2325

python中基于xarray处理netcdf文件时，使用dask加速处理速度在处理高分辨率气象文件netcdf格式文件时，常规的处理速度太慢！！数据量过大，造成卡死，真是上头！！！先不要想着新装内存，虽然我差点京东下单！话不多说首先需要先安装好dask包！！！ 1、以日数据气温数据netcdf文件为例。图中是两个打开方式，其中air是气温变量。 data_dask是使用dask,chunks则是以经纬度10度为间隔划分块。进而分块处理。 data_nodask常规打开方法。 2、以按年平均举例，

使用xarray和dask分析Amazon S3上的CESM LENS数据

通过上述知识点的介绍，我们可以了解到如何使用xarray和dask等工具，在AWS提供的服务上分析和处理CESM LENS等大规模气候模型数据。这些技术的应用使得科研人员能够更有效地处理和分析复杂的地球科学数据，进一步推动...

安利一个Python大数据分析神器

python2021_的博客

03-09

395

1、什么是Dask？ Pandas和Numpy大家都不陌生了，代码运行后数据都加载到RAM中，如果数据集特别大，我们就会看到内存飙升。但有时要处理的数据并不适合RAM，这时候Dask来了。 Dask是开源免费的。它是与其他社区项目（如Numpy，Pandas和Scikit-Learn）协调开发的。 Dask支持Pandas的DataFrame和NumpyArray的数据结构，并且既可在本地计算机上运行，也可以扩展到在集群上运行。基本上，只要编写一次代码，使用普通的Pythonic语法，就可在本地运

【遥感与地理信息系统】基于Python的多源卫星影像处理与分析：地球引擎脚本集合用于环境监测和变化检测

06-04

阅读建议：由于涉及到较多的技术细节和第三方库的使用，建议读者先熟悉Python的基础语法及常用的数据处理库（如NumPy、xarray、rioxarray），同时了解STAC规范以及如何与Planetary Computer API交互。在实践中，可以...

xarray.apply_ufunc()用法示例

白发空垂三千丈

07-10

705

可以看到，生成了3个。

xarray-并行读取多个nc文件

weixin_45407882的博客

06-11

2360

https://www.heywhale.com/mw/project/5fd210551a34b90030b6a5ce/content import glob %time for file in glob.glob("/home/kesci/input/OISSTV27010/*.nc"): ds2 = xr.open_dataset(file)

Python学习（1）：使用Python的Dask库实现并行计算

共同学习，共同进步。

08-07

1760

使用Python的Dask库实现并行计算

xarray--一维空间绘图学习记录

【更新于公众号 | 简谱学记】

02-20

2225

Simple Example dataarrays 最简单的画图方法就是调用dataarray.plot() xarray 可以通过使用坐标名称或者数据名称进行数据索引，如 attrs.long_name, attrs.standard_name, DataArray.name and attrs.units ，而这些名称可以通过dataarray.attrs命令获得，示例如下： sst.attrs {'long_name': 'Monthly Mean of Sea Surface Temperat

xarray教程之GroupBy: split-apply-combine

沉研的博客

02-15

3488

GroupBy: split-apply-combine分割(Split)Binning 分割(Split) 让我们创建一个简单的 dataset 事例： In [1]: ds = xr.Dataset( ...: {"foo": (("x", "y"), np.random.rand(4, 3))}, ...: coords={"x": [10, 20, 30, 40...

python xarray批量处理nc

wlh2067的博客

11-28

3679

xarray是一类非常灵活的结构，被看作新一代nc处理库

如何在xarray、pandas、dask中选择最佳的chunk

zj0324的博客

04-12

1283

如何在xarray、pandas、dask中选择最佳的chunk 使用 Dask 数组很容易上手，但使用好它们确实需要一些经验。此页面包含最佳实践建议，并包含常见问题的解决方案。使用 NumPy 如果您的数据在 RAM 中很合适，并且您不受性能限制，那么使用 NumPy 可能是正确的选择。Dask 增加了另一层复杂性，这可能会妨碍您。如果您只是在寻找加速而不是可扩展性，那么您可能需要考虑像Numba这样的项目选择一个好的块大小 Dask Array 用户的一个常见性能问题是他们选择的块大小要么太小（

python n个list如何组成矩阵_使用Python并行框架Dask处理和分析大规模时空数据

weixin_39564386的博客

10-24

456

并行是提高大数据处理和分析速度的关键，不管是CPU并行还是GPU并行，核心的观念就是将大数据变为小的分块，然后让计算机操作系统调配可用资源进行处理。使用C，C++等语言可以调用openmpi，CPP-taskflow以及Interl TBB等框架管理执行并行程序，但是，程序执行的效率取决于对底层数据分块策略以及需要仔细考虑网络传输成本，并行程序的效率完全取决于程序员的天赋和水平。在这里，暂且不讨论...

python读取大文件太慢_加快阅读python中非常大的netcdf文件

weixin_39920338的博客

11-24

905

我强烈建议您查看xarray和dask项目.使用这些功能强大的工具,您可以轻松地将计算分成块.这带来了两个优点：您可以计算不适合内存的数据,并且可以使用计算机中的所有内核来获得更好的性能.您可以通过适当选择块大小来优化性能(参见documentation).您可以通过执行简单操作从netCDF加载数据import xarray as xrds = xr.open_dataset(path_file...