深入理解SPARK SQL 中HashAggregateExec和ObjectHashAggregateExec以及UnsafeRow

原创

已于 2022-07-26 08:12:34 修改 · 2.7k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#spark #big data #大数据

于 2022-03-26 16:55:50 首次发布

本文深入探讨了Spark中的HashAggregateExec和ObjectHashAggregateExec的工作原理。重点介绍了它们如何利用UnsafeRow和SpecificInternalRow来提高聚合操作的性能，尤其是在处理自定义聚合函数时的优势。

感悟和理解

翻译这篇文章是为了更好的理解ObjectHashAggregateExec和UnsafeRow，关于UnsafeRow的文章，可以参考Spark源码修改系列 - UnsafeRow内存布局和代码优化。
在SPARK中，为了更好地管理内存以及避免Java小对象GC带来的影响，Spark内部的行数据都是以堆内或者堆外的连续内存来管理的，UnsafeRow则是在连续内存（byte数组上）进行操作，它并没有脱离了jvm，而是使用了Java unsafe API（Java提供的底层非安全操作接口），允许用户像操作C++指针一样来申请和访问内存地址，JVM也不会对这部分非安全数据进行额外的类型检查和垃圾回收。在unsafeRow中通过对应的偏移量来set和get值(putFloat，getFloat等操作)。

这个博客继续去探索Aggerate 策略，我们主要关注SPARK SQL提供的两种hash join的聚合操作，HashAggerateExec和ObjectHashAggerateExec。