本文探讨Spark中的数据倾斜问题，包括其发生的现象（如部分task执行时间显著长于其他）、原理（在shuffle过程中大量数据集中于个别key）及如何通过观察DAG图分析数据倾斜。同时，解释了DAG中task数量、stages和数据分布的关系，并对“skip”状态进行了说明。
文章目录
推荐：先看看这个
spark学习-27-Spark性能调优(2)
http://blog.youkuaiyun.com/qq_21383435/article/details/77720087
目的
继基础篇分析了开发调优与资源调优之后，本文作为拓展篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。
数据倾斜调优
简述
有时候，大家可能会遇到大数据开发过程中一个比较棘手的问题，那就是数据倾斜，此时Spark作业的性能会比预期差很多，数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。
数据倾斜发生时的现象
绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很常见。
原本能够正常执行的S
订阅专栏 解锁全文
扫一扫
1364
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
