简单搞定spark shuffle算子性能优化

最新推荐文章于 2025-02-07 09:35:31 发布
原创 最新推荐文章于 2025-02-07 09:35:31 发布 · 188 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文对比了Spark中ReduceByKey与GroupByKey的功能及执行原理。ReduceByKey通过在Map端进行本地Combine操作，减少了数据传输量，降低了网络开销。而GroupByKey则适用于ReduceByKey无法处理的情况。

一、reduceByKey和groupByKey对比

val counts = pairs.reduceByKey(_ + _)

val counts = pairs.groupByKey().map(wordCounts => (wordCounts._1, wordCounts._2.sum))

如果能用reduceByKey，那就用reduceByKey，因为它会在map端，先进行本地combine，可以大大减少要传输到reduce端的数据量，减小网络传输的开销。

只有在reduceByKey处理不了时，才用groupByKey().map()来替代

二、执行原理

1、reduceByKe     

2、groupByKey

 

 

Spark【优化篇】02：算子优化
weixin_40612128的博客
03-09 838
Spark【优化篇】02：算子优化
Spark优化----Spark 性能调优
天冬忘忧的博客
12-17 3105
本文介绍了Spark的常规性能调优；算子调优；Shuffle调优；JVM调优
Spark 算子调优
星空下的那个人影
06-04 476
算子调优
Spark core 核心算子优化
10-15 2740
算子优化 MapPartitions spark中，最基本的原则，就是每个task处理一个RDD的partition。 MapPartitions操作的优点： 如果是普通的map，比如一个partition中有1万条数据；ok，那么你的function要执行和计算1万次。 但是，使用MapPartitions操作之后，一个task仅仅会执行一次function，functi
spark新能优化之reduceBykey和groupBykey的使用
weixin_34126215的博客
07-13 146
val counts = pairs.reduceByKey(_ + _) val counts = pairs.groupByKey().map(wordCounts => (wordCounts._1, wordCounts._2.sum)) 如果能用reduceByKey，那就用reduceByKey，因为它会在map端，先进行本地combine，可以大大减少要传输到reduce端...
Spark Shuffle调优之合并map端输出文件
yscoder的博客
11-27 357
引言 广播变量允许开发人员将一个只读的变量缓存在每台机器上而不用在任务之间传递变量。 广播变量可被用于有效地给每个节点一个大输入数据集的副本。 一个Executor只需要在第一个Task启动时获得一份Broadcast数据，之后的Task都直接从本节点的BlockManager中获取相关数据。 优化前 默认情况下task执行算子中使用了外部的变量时，每个task都会获取一份变量的副本，有什么缺点呢？在什么情况下，会出现性能上的恶劣的影响呢？ 对于map这种数据结构，其存放数据的一个单位是E...
30天搞定spark源码系列-RDD番外篇-shuffledRDD
枫叶的落寞的博客
05-16 1264
spark源码番外篇-带领你深刻理解spark shuffle的原理
30天搞定spark源码系列-Job，stage，task区别
枫叶的落寞的博客
05-27 607
深入理解spark高频面试题-Job，stage，task的区别
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
黑泽君
05-04 2901
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
基于 Native 技术加速 Spark 计算引擎
lihui49的博客
06-25 979
今天分享的主题是基于 Native 技术加速 Spark 计算引擎，大家将会了解到如何基于 ClickHouse 来改造 Spark 引擎，最终获得较为可观的性能提升。
Spark算子调优
小萌猿的博客
03-23 896
1、使用mapPartitions或者mapPartitionWithIndex取代map操作，其中mapPartitions和mapPartitionWithIndex的区别在于是否将分区号index传入分区处理函数。 eg.对于将RDD中的数据写入数据库时，使用mapPartitions只需为每个分区建立一次jdbc连接，而map需要为每个数据建立连接。 同理还有foreach和foreach...
Spark性能优化--数据倾斜调优与shuffle调优
weixin_30905133的博客
10-31 208
一、数据倾斜发生的原理 原理：在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜。数据倾斜只会发生在shuffle过程中。常用的并且可能会触发shuffle操作的算子：distinct、groupByKey、reduceByKey、aggregat...
spark算子调优
qq_32736999的博客
11-13 242
1、MapPartitions提升Map类操作性能 spark中，最基本的原则，就是每个task处理一个RDD的partition。 1.1  MapPartitions的优缺点 MapPartitions操作的优点： 如果是普通的map，比如一个partition中有1万条数据。ok，那么你的function要执行和计算1万次。 但是，使用MapPartitions操作之后，一个tas...
Spark 性能调优之算子调优
@小刘同学nice
07-07 324
算子调优一：mapPartitions 普通的map算子对RDD中的每一个元素进行操作，而mapPartitions算子对RDD中每一个分区进行操作。如果是普通的map算子，假设一个partition有1万条数据，那么map算子中的function要执行1万次，也就是对每个元素进行操作 如果是mapPartition算子，由于一个task处理一个RDD的partition，那么一个task只会执...
spark优化
wuwang1988的博客
08-29 224
Spark调优一，分配更多的资源1，在哪里分配 在提交任务时，在这三个参数上分配（–total-executor-cores –executor-memory –driver-memory） 2，分配那些资源 CPU core 和 memory 3，怎么分配4，分配之后有什么效果 A, 给executor分配更多的内存，能够减少executor频繁的GC，因为发生频繁的G...
【详细讲解】spark优化
最新发布
song的博客
02-07 1658
我们可以从性能，算子，shuffle 过程以及 jvm 四个方面展开优化。
Spark算子（八）
Star-Technology
07-20 333
Point 1：CartesianOperator package com.spark.operator;import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.a
总结：Spark性能优化上的一些总结
MrLevo520的博客
08-13 2566
Spark性能调优 整理来自于： Spark性能优化指南——基础篇​ 会增加： 一些其他博客的内容 自己的理解和pyspark代码的补充实践 开发调优 Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。开发调优，就是要让大家了解以下一些Spark基本开发原则，包括：RDD lineage设
Spark性能调优(reduceByKey VS groupByKey,Map vs MapPartition,foreachPartitions vs foreach,Kryo优化序列化性能等)
05-25 1155
1 概述 官网对于Spark的调优讲解 对于spark的性能调优我推荐大家去看看美团的文章，这里我会据一些例子让大家更好的去理解。 2 调优 这里我列举出美团文章中提出的一些调优，其实都在官网上。对一些难理解的通过代码和图片的方式进行解析。 1. 避免创建重复的RDD 2. 尽可能复用同一个RDD 3. 对多次使用的RDD进行持久化 （这篇文章进行了详细的讲解） 4. 尽量避免使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值