- 博客(2)
- 收藏
- 关注
RSS订阅原创 大数据面试问题Hive、Spark
groupByKey按照key进行分组，没有聚合，直接进行shuffle。会先对分区内部分组，分组完成后进行shuffle，将相同的键从各个分区汇总到一起，再合并。按照key进行聚合，会在shuffle之前进行预聚合。现在分区内部对所有的键-值对进行遍历，遇到相同的key就会执行自定义的聚合逻辑。在每个分区内完成局部预聚合后，就会进行shuffle操作，分区分组聚合，先在不同的分区内进行分组预聚合，再对不同分区的预聚合后的结果进行聚合。特点，分区内的聚合逻辑可以与分区之间聚合逻辑不一样。
2025-01-09 12:04:58
763
1
原创 Linux安装mysql详细教程
转载自：linux 安装mysql8.0 超详细图文教程_linux mysql8 下载安装-优快云博客第九步初始化之前看这个：初始化mysql时报错误“error while loading shared libraries: libaio.so.1: cannot open shared object file: No such file or directory ”的解决方法 - 夏圈圈儿 - 博客园
2023-12-19 15:52:27
353
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人