DATA AI Summit 2022提及到的对 aggregate 的优化

原创 已于 2022-07-29 08:06:29 修改 · 873 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #分布式 #java

于 2022-07-27 12:43:32 首次发布
本文探讨了在Spark 3.3.0中针对HashAggregate和ObjectHashAggregate的优化，包括利用运行时指标减少网络IO、调整spill策略以及优化内存使用。此外，还介绍了SortAggregate的新特性，如在数据有序情况下替代HashAggregate，并支持codegen。文章强调了这些优化在性能提升和内存管理方面的贡献，但也指出可能存在的数据倾斜导致的OOM风险。

背景

本文基于SPARK 3.3.0

HashAggregate的优化

该优化是FaceBook(Meta) 内部的优化，还有合并到spark社区。
该优化的主要是partialaggregate的部分：对于类似求count,sum,Avg的聚合操作，会存在现在mapper进行部分聚合的操作，之后在reduce端，再进行FinalAggregate操作。这看起来是没有问题的（能够很好的减少网络IO），但是我们知道对于聚合操作，我们会进行数据的spill的操作，如果在mapper阶段合并的数据很少，以至于抵消不了网络IO带来的消耗的话，这无疑会给任务带来损耗。
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
利用运行时的指标信息，能够达到比较好的加速效果。
在这里插入图片描述

ObjectHashAggregate的优化

最低0.47元/天 解锁文章
Spark GraphX图计算引擎原理与代码实例讲解
AI天才研究院
06-19 1141
Spark GraphX图计算引擎原理与代码实例讲解 1.背景介绍 在当今大数据时代，图计算已成为一种非常重要的数据处理范式。图数据结构可以用来表示复杂的关系型数据,如社交网络、Web链接、交通网络等。传统的关系型数据库和NoSQL数据库在处理这类数据时往往效率低下。为了
Flink原理与代码实例讲解
最新发布
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
09-27 253
Flink原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着大数据时代的到来，海量数据的实时处理需求日益增长。
Spark源码-2.3 Aggregate物理实现-3种聚合物理算子
weixin_42265234的博客
04-20 428
概述 Optimizer 中的预处理 当存在多列distinct计算时，Optimizer执行RewriteDistinctAggregates规则时，该规则会将多列distinct展开（通过插入Expand算子），非distinct聚合列和每个distinct聚合列会被分为不同的组（假设为N组），每个组为一行数据并带有group id，这样一行数据会被扩展为N行。之后，用两层Aggregate算子计算Expand之后的数据，第一层按前面的分组聚合，第二层再将结果聚合。引用RewriteDistinctAg
Data + AI Summit 2022 PPT 下载
过往记忆大数据
07-20 2080
Data + AI Summit 2022 于2022年06月27日至30日举行。本次会议是在旧金山进行，中国的小伙伴是可以在线收听的，一共为期四天，第一天是培训，后面几天才是正式会议。本次会议有超过200个议题，演讲嘉宾包括业界、研究和学术界的专家，本次会议主要分为六大块：•数据分析, BI 以及可视化：了解最新的数据分析、BI 和可视化技术以及客户和社区的解决方案。•...
深入理解SPARK SQL 中HashAggregateExec和ObjectHashAggregateExec以及UnsafeRow
monkeyboy_tech的博客
03-26 2799
感悟和理解 翻译这篇文章是为了更好的理解ObjectHashAggregateExec和UnsafeRow，关于UnsafeRow的文章，可以参考Spark源码修改系列 - UnsafeRow内存布局和代码优化。 其实明显，UnsafeRow是模拟了offheap的分配方式而在堆上进行的操作，它并没有脱离了jvm，而是使用了Java unsafe API（Java提供的底层非安全操作接口），允许用户像操作C++指针一样来申请和访问内存地址，JVM也不会对这部分非安全数据进行额外的类型检查和垃圾回收。 事实上
Spark SQL深入分析之图解HashAggregateExec & ObjectHashAggregateExec执行流程
Gavin_ke的博客
11-22 1178
这篇文章继续探讨聚合策略，主要介绍Spark SQL提供的两个基于hash的聚合操作符，即HashAggregateExec和ObjectHashAggregateExec。
Data + AI Summit 2022 超清视频下载
过往记忆大数据
07-12 1990
Data + AI Summit 2022 于2022年06月27日至30日举行。本次会议是在旧金山进行，中国的小伙伴是可以在线收听的，一共为期四天，第一天是培训，后面几天才是正式会议。本次会议有超过200个议题，演讲嘉宾包括业界、研究和学术界的专家，本次会议主要分为六大块：•数据分析, BI 以及可视化：了解最新的数据分析、BI 和可视化技术以及客户和社区的解决方案。•...
Data + AI Summit 欧洲2020全部超清 PPT 下载
过往记忆大数据
12-06 1046
Data + AI Summit Europe 2020 原 Spark + AI Summit Europe 于2020年11月17日至19日举行。由于新冠疫情影响，本次会议和六月份举...
Real-time Processing of Massive Data: Applications of Doris Database in the Internet Industry
Doris is an open-source distributed MPP (Massively Parallel Processing) database designed specifically for big data analytics and real-time queries. It employs columnar storage format and supports ...
揭秘DDR4预取架构革命：从2n到8n的底层设计逻辑（JESD79-4B权威解读）
DDR4预取架构在提升内存带宽与效率方面发挥着关键作用，其8n预取机制通过Bank Group并行性、内部流水线设计及I/O并行度优化，有效缓解了内存访问延迟与吞吐矛盾。本文系统梳理了DDR系列预取技术的演进路径，深入分析...
Data Summit 2022 大会资料分享（共23个）
Era666的博客
06-07 529
本文整理了 Data Summit 2022 相关PPT资料，涵盖现代数据架构、云迁移、DataOps等技术领域，欢迎大家下载学习、一同交流。
spark性能优化--极致的aggregateBykey
u010990043的博客
04-04 1197
       在spark开发过程中，每一个算子都会影响到整体性能。对于T/p级数据聚合每一个微小的操作，都会使计算时间相差几分钟甚至小时。在计算过程中的一个原则就是尽量少的使用shuffle操作，能合并的shuffle尽量合并。      这两天在开发的时候就犯了一个错误。需求是求出PairRdd中每个key的最大值，最小值，每个key的数量统计。一开使用的的就是最普通的算法，先cache，再求...
活动预告 | DataFunSummit 2022-MLOps 及 AI 工程化落地论坛
第四范式开发者社区
12-07 1056
11月19日 13：30-17:30，OpenMLDB 项目发起人、第四范式技术副总裁 郑曌作为出品人发起 DataFunSummit 2022 MLOps 及 AI 工程化落地论坛。OpenMLDB PMC、第四范式资深系统架构科师 卢冕，将在论坛中为大家带来议题为《开源机器学习数据库 OpenMLDB：线上线下一致的生产级特征平台》的内容分享。**
昨晚 Spark Summit 重要功能发布全在这里（附超清视频）
过往记忆大数据
06-29 510
Data + AI SUMMIT 2022会议在昨晚北京时间23:30正式开始，这篇文章给大家弄好了昨天 Keynote 的比较重要的几个视频，主要涉及 Apache Spark 后续发展、下一代Structured Streaming 解决方案；Delta Lake 2 发布等，感兴趣的同学看一看。由于时间关系，今天就主要给大家看下重要几个发布，详细的介绍请关注过往...
Greenplum聚合函数的两种实现：HashAggregate与GroupAggregate
scutshuxue的专栏
09-19 8124
在Postgresql/Greenplum数据库中，聚合函数有两种实现方式：HashAggregate与GroupAggregate。      我们现在通过一个最简单的sql来分析这两种聚合的区别以及其应用场景。       select count(1) from pg_
Graph 聚合
KPer_Yang的博客
02-18 492
Graph 聚合
Spark SQL深入分析之图解SortAggregateExec执行流程
Gavin_ke的博客
11-22 1426
不像基于hash的聚合需要一个hash map来保存所有的缓存键值对（如grouping key -> aggregate value），SortBasedAggregationIterator只需要保存当前聚合组的聚合缓存，因此，仅需一行就足够了。SortAggregateExec使用了一种基于排序的聚合方法，该方法要求通过分组键对行进行排序，以便将具有相同分组键的行放置在一起。中我们知道，一个逻辑聚合运算符可以转化为由多个物理聚合阶段组成的物理计划，聚合策略会根据聚合表达式的类型来规划物理聚合计划。
PostgreSQL中的并行组件
米兰的小科比
08-30 756
原文链接 目录 Components of Parallelism in PostgreSQL 并行顺序Scan 并行聚合 Parallel Aggregates 下面是计划的一个例子，当一个聚合被并行计算时。您可以在这里清楚地看到性能的改进。 使用并行聚合，在这个特定的例子中，当涉及到10个并行工作者时，2025419.744的执行时间减少到1737817.346，我们的性能提升略高于16% 。 Parallel Index (B-Tree) Scans 总结 PostgreSQL...
大数据领域如何理解 Merge、Combine和Aggregate
LizhiQiang
04-13 2926
例如，在MapReduce、Spark等大数据框架中，Shuffle过程中的Combiner可以将同一个节点上的中间结果组合起来，以减少数据在网络中的传输。在大数据领域，这通常涉及到将不同来源或分布式存储的数据整合在一起。例如，在SQL查询中的GROUP BY子句，以及Spark、Hadoop等大数据框架中的Reduce操作，都涉及到对数据进行聚合。总之，在大数据领域，Merge、Combine和Aggregate这三个词描述了数据处理过程中的不同操作，它们分别关注数据的整合、在分区中的优化和汇总。
Data Summit 2022：全面解析数据架构、AI及DataOps
资源摘要信息:"Data Summit 2022数据峰会是业界的一大盛事，它涉及了多个数据领域的前沿技术与实践。本次汇总的PPT包含了30份关于不同数据技术话题的演示文稿，为数据科学家、技术开发者以及商业决策者们提供了丰富...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值