本文分享了提升Spark集群性能的四个关键策略：合理配置spark-env文件，优化SparkConf及setProperty设置；为缓存的RDD添加checkpoint以降低容错成本；使用combine合并小分区，减少任务切换开销。
1通过 spark-env 文件，对 spark 集群进行合理的参数设置
2在程序中,设置合理的 sparkconf 和 set property
3计算量大时,给已经缓存了的 RDD 添加 checkpoint,以减少容错带来的开销
4使用 combine 对小分区进行合并,避免过小的分区造成过多的切换任务开销
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
