本文深入探讨了 Dask 框架，介绍了 Dask 的核心概念，如分布式数组和数据框，以及如何通过 Dask.distributed 调度器进行并行计算。文章通过实例展示了 Dask 如何处理大数据计算任务，包括任务图的可视化、降维操作以及在 HPC 和云环境中的应用。此外，还探讨了 Dask 与 xarray 的集成，以及使用 Dask-on-Ray 调度器优化性能。
Dask 入门
-
识别和描述 Dask 数据集合（Collection），包含数组（Array）和数据框（DataFrame）和调度器。
-
认识到 Dask 数组的使用与 Numpy 数组的使用时类似的。
-
理解分块（chunk）大小（size）、形状（shape）和计算开销。
-
部署本地分布式集群并使用诊断仪表板（diagnostics dashboard）.
什么是 Dask？
Dask 是一个灵活应用于分析计算的并行计算包。Dask 能够提供动态并行任务调度系统、高级数据集合，如dask.array, dask.dataframe和一系列部署模式。
并行计算：如同电路串联和并联的概念，电路并联能够使得每一个分路从总负荷中分配各自的分路负荷。同理对并行计算也有类似的理解ÿ
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
