Spark算子篇 --Spark算子之aggregateByKey详解

spark中算子详解:aggregateByKey 通过scala集合以并行化方式创建一个RDDscala> val pairRdd = sc.parallelize(List(("cat",2),("cat",5),("mouse",4),("cat",12),("dog",12),("mouse",2)),2)pairRdd 这个RDD有两个区,一个区中存放的是:("cat",2),("cat",5),("mouse",4)另一个分区中存放的是: 阅读详情

一。基本介绍

rdd.aggregateByKey(3, seqFunc, combFunc) 其中第一个函数是初始值

3代表每次分完组之后的每个组的初始值。

seqFunc代表combine的聚合逻辑

每一个mapTask的结果的聚合成为combine

combFunc reduce端大聚合的逻辑

ps:aggregateByKey默认分组

二。代码

from pyspark import SparkConf,SparkContext
from __builtin__ import str
conf = SparkConf().setMaster("local").setAppName("AggregateByKey")
sc = SparkContext(conf = conf)

rdd = sc.parallelize([(1,1),(1,2),(2,1),(2,3),(2,4),(1,7)],2)

def f(index,items):
    print "partitionId:%d" %index
    for val in items:
        print val
    return items
    
rdd.mapPartitionsWithIndex(f, False).count()


def seqFunc(a,b):
    print "seqFunc:%s,%s" %(a,b)
    return max(a,b) #取最大值
def combFunc(a,b):
    print "combFunc:%s,%s" %(a ,b)
    return a + b #累加起来
'''
    aggregateByKey这个算子内部肯定有分组
'''
aggregateRDD = rdd.aggregateByKey(3, seqFunc, combFunc)
rest = aggregateRDD.collectAsMap()
for k,v in rest.items():
    print k,v

sc.stop()

 

三。详细逻辑

PS:

seqFunc函数 combine篇。

3是每个分组的最大值,所以把3传进来,在combine函数中也就是seqFunc中第一次调用 3代表a,b即1,max(a,b)即3 第二次再调用则max(3.1)中的最大值3即输入值,2即b值 所以结果则为(1,3)

底下类似。combine函数调用的次数与分组内的数据个数一致。

 

combFunc函数 reduce聚合

在reduce端大聚合,拉完数据后也是先分组,然后再调用combFunc函数

四。结果

持续更新中。。。。,欢迎大家关注我的公众号LHWorld.

 

Spark算子[09]:aggregateByKey、aggregate详解 aggregateByKeyaggregateByKey的用法同combineByKey,针对combineByKey的三个参数: createCombiner: V => C,mergeValue: (C, V) => C,mergeCombiners: (C, C) => C 将createCombiner: V => C替换成一个初始值 C ,相当于aggregateByKey的三个参数为 阅读详情

相关推荐

Spark中aggregateByKey算子详解介绍

上一篇文章我们讲述了如何使用 `reduceByKey` 这个算子按照key进行聚合,本文中继续提出另外一个算子 `aggregateByKey` ,它同样可以实现按照key进行聚合,而且比 `reduceByKey` 更为灵活,对于 `reduceByKey` 来说分区内和分区间的聚合规则是相同的,都是传入的函数逻辑,而 `aggregateByKey` 能够在分区内和分区间实现不同的聚合逻辑。

优快云 精品推荐 645

Spark 中的 aggregateByKey

直译过来是 按照 Key 进行聚合源码如下:说明:第一个参数是, 给每一个分区中的每一种key一个初始值 第二个是个函数, Seq Function, 这个函数就是用来先对每个分区内的数据按照 key 分别进行定义进行函数定义的操作 第三个是个函数, Combiner Function, 对经过 Seq Function 处理过的数据按照 key 分别进行进行函数定义的操作也可以自定义分区器, 分区器有默认值整个流程就是:在 kv 对的 RDD 中,按 key 将 value 进行分组合并,合并时,将每个

King_S_H的博客 932

Spark 算子之aggregateByKey

Spark 算子之aggregateByKey

congge_study的博客 1456

【笔记】java api spark 聚合函数aggregateByKey的参数说明及其用法

来做个分组统计关于aggregateByKey的用法和复杂参数记录 源码函数 <Integer> JavaPairRDD<String, Integer> org.apache.spark.api.java.JavaPairRDD.aggregateByKey(Integer zeroValue, Function2<Integer, Integer, Inte...

qq735679552的博客 1095

华为擎云W515 PGUV-WBY0安装银河麒麟V10全流程解析

本文详细解析了华为擎云W515 PGUV-WBY0安装银河麒麟V10系统的全流程,包括准备工作、镜像下载与校验、启动盘制作、BIOS设置、安装过程关键选择、系统初始化及常见问题排查。特别针对ARM架构设备提供了实用技巧,帮助用户顺利完成国产化系统的部署与优化。

weixin_28725949的博客 705

2023-ICCV-隐式神经网络实现低光照图像增强(NeRCo)论文解读+代码解析

NeRCo()提出了一种名为NeRCo的隐式神经表示方法,用于合作式低光图像增强。现有的低光图像增强方法存在以下三个限制:不可预测的亮度降低和噪声、度量友好版本和视觉友好版本之间的固有差距,以及有限的配对训练数据。为了解决这些限制,论文提出了NeRCo方法,它以无监督的方式稳健地恢复感知友好的结果。具体而言,NeRCo通过一个可控的拟合函数统一了现实场景中多样的退化因素,从而提高了鲁棒性。对于输出结果,论文引入了来自预训练视觉-语言模型的先验信息,采用语义导向的监督方法。

weixin_45595504的博客 3189

sparkSql自定义聚合函数

自定义聚合函数分两个类型,一个是强类型的,需要用DSL语句,另一个就是下面这种 import java.lang import java.sql.{Connection, DriverManager, PreparedStatement} import java.util.Properties import org.apache.spark.broadcast.Broadcast impo...

feiyuciuxun的博客 407

四大厂商网络设备巡检命令实战指南:华为、华三、锐捷、思科

本文详细介绍了华为、华三、锐捷、思科四大厂商网络设备的巡检命令实战指南,涵盖硬件状态、软件运行和网络功能等核心维度。通过具体命令示例和实用技巧,帮助网络工程师高效完成设备巡检,预防潜在故障,确保网络稳定运行。

weixin_29235923的博客 392

学习记录585@spark算子之glom与aggregateByKey的使用案例之计算每个分区中的最大值的和

glom的作用是将同一个分区中的数据转化为相同类型的数组,分区不变。 以下案例是计算每个分区中的最大值的和。 以上摘自尚硅谷教程

教练我想学编程 355

GMSL2摄像头接入避坑指南:从FMC子卡配置到V4L2调用的完整流程(附Ubuntu20.04实测)

本文详细解析了GMSL2摄像头接入的全流程,从FMC子卡配置到V4L2调用的完整指南。基于XC7Z100平台实测经验,提供了硬件选型、带宽优化、Linux驱动配置及高分辨率采集的实战技巧,帮助开发者规避常见问题,提升系统稳定性与性能。

weixin_33737774的博客 420

2025虚幻游戏逆向工程解包尝试

2025虚幻游戏逆向工程解包指南 本文详细介绍了虚幻引擎5游戏逆向解包的完整流程,主要包括获取AES密钥、生成映射文件和导出资源三个关键步骤。作者在实际操作中遇到诸多难题:AES密钥获取工具存在加壳保护问题,映射文件生成器依赖复杂的VS编译环境,DLL注入工具的使用也存在技术门槛。通过多次尝试,作者发现部分游戏可直接搜索现成的AES密钥,而映射文件生成需要额外下载Memcury依赖库才能正常编译。文章提供了相关工具的下载链接和具体操作说明,但同时也指出每个环节都可能出现意外状况,逆向工程实际执行过程远比理论

wsdchong的博客 6166

144、Spark核心编程进阶之aggregateByKey以及单词计数案例

reduceByKey可以认为是aggregateByKey的简化版 aggregateByKey,分为三个参数,,多提供了一个函数,Seq Function 就是说自己可以控制如何对每个partition中的数据进行先聚合,类似于mapreduce中的,map-side combine 然后才是对所有partition中的数据进行全局聚合 第一个参数是,每个key的初始值 第二个是个函数,Se...

ZJ__ZFH的博客 1478

OB4.X集群状态running但是oceanbase-ce is not running

自 V3.2.0 起,若 obd 设置了加密密钥,执行 display 命令输出的集群信息中,密码相关内容为加密状态。若需输出明文密码,可在命令中添加 --epk/–encryption-passkey 指定密钥用于验证。obd 运维的数据库,启停需要使用obd进行操作,停机时候没有使用obd会导致集群状态running但是oceanbase-ce is not running。查看集群中的租户时无租户反馈,警告oceanbase-ce is not running,但是查询集群状态明明是running。

qq961573863的博客 1218

详解Spark核心算子 : aggregateByKey和combineByKey

详解Spark核心算子 : aggregateByKey和combineByKey aggregateByKey aggregateByKey有三种声明 def aggregateByKey[U: ClassTag](zeroValue: U, partitioner: Partitioner)     (seqOp: (U, V) => U, combOp: (U, U) =&g...

超越时代 2580

Weka学习笔记01:初探Weka世界

下载、安装和启动Weka、Weka数据格式

howard2005的专栏 1474

Arduino开发实例-EMG 肌肉信号传感器

在医学研究中,测量肌肉的活动、收缩和扩张非常重要。 EMG 肌肉传感器测量肌肉活动并产生信号以显示扩张和收缩量。 因此,输出取决于所选肌肉的活动量。 3 绿色、红色和黄色电极连接到模块,用于传输来自肌肉运动的电信号。

视觉与物联智能 1702

Spark算子之aggregateByKey详解

一、基本介绍 rdd.aggregateByKey(3, seqFunc, combFunc) 其中第一个函数是初始值 3代表每次分完组之后的每个组的初始值。 seqFunc代表combine的聚合逻辑 每一个mapTask的结果的聚合成为combine combFunc reduce端大聚合的逻辑 ps:aggregateByKey默认分组 举一个简单的在生产环境中的一段代码: 有...

lixinkuan的博客 1864

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

spark中的aggregateByKey算子详解

spark中的aggregateByKey算子详解: 源码解析: 源码有三种格式: /** * 自定义分区器Partitioner * @param zeroValue 初始值(默认值) * @param partitioner 自定义分区器 * @param seqOp * @param combOp * @tparam U * @retu...

会流泪de鱼的博客 840

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

spark aggregateByKey算子

aggregateByKey算子的作用是根据key进行聚合操作,代码均是基于java api,先贴代码:public class AggregateByKeyOperator { public static void main(String[] args) { SparkConf sparkConf = new SparkConf().setAppName("Aggregate...

yx_keith的博客 548

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Spark高级算子:mapPartitionsWithIndex,aggregate,aggregateByKey

1:mapPartitionsWithIndex: 对RDD中的每个分区(带有下标)进行操作,通过自己定义的一个函数来处理 API文档: def mapPartitionsWithIndex[U](f: (Int, Iterator[T]) => Iterator[U]) def mapPartitions[U](f: (Iterator[T]) ...

yilulvxing的博客 7424

spark中aggregateByKey算子详解

参数:(zeroValue:U,[partitioner: Partitioner]) (seqOp: (U, V) => U,combOp: (U, U) => U) 作用:在kv对的RDD中,,按key将value进行分组合并,合并时,将每个value和初始值作为seq函数的参数,进行计算,返回的结果作为一个新的kv对,然后再将结果按照key进行合并,最后将每个分组的value...

may_fly的博客 583

Spark中aggregate算子和aggregateByKey算子

美图欣赏: aggregate复杂例子: scala> import scala.math._ import scala.math._ scala> var rdd1 = sc.parallelize(List("12","34","567","8901"),2) rdd1: org.apache.spark.rdd.RDD[String] = ParallelCol...

知其然,知其所以然 599

Spark RDD转换算子:groupByKey与aggregateByKey详解

从shuffle的角度:reduceByKey和groupByKey都存在shuffle的操作,但是reduceByKey可以在shuffle前对分区内相同的key的数据进行预聚合(combine)功能,这样会减少落盘的数据量,而reduceByKey只是进行分组,不存在数据量减少的问题,reduceByKey性能比较高。GroupByKey只能分组,不能聚合,所以在分区聚合的场合下,推荐使用reduceByKey,如果仅仅是分组而不需要聚合。函数说明:将数据根据不同的规则进行分区内计算和分区间计算;

2403_88666941的博客 795

spark中aggregateByKey的用法及示例

这篇博客是为了给一些没有用过aggregateByKey算子而看源码能力又不强的朋友看的,因为这个算子比较特别,调用该算子需要传三个参数,而从源码中又看不太懂参数意义,下面我就通过示例介绍该算子的用法。 参数详解 aggregateByKey(zeroValue)(f:(U,V) => U,g:(U,U) => U) ...

weixin_43149083的博客 2385
上一篇: Spark算子篇 --Spark算子之combineByKey详解
下一篇: Yarn篇--搭建yran集群
L先生AI课堂
L先生AI课堂 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄9年 678粉丝 216原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L先生AI课堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值