大数据开发实践者

问题现象： spark流式计算中做聚合需要使用 group by算子，我在使用过程中遇到一些问题，通过stage图可以看出2个问题：1. 聚合算子每个批次shuffle write的数据量直线上升，这样会导致算子得效率逐渐降低，甚至会导致oom2.聚合算子(shuffle)的并行度是200，即使设置spark.sql.shuffle.partitions=10也不生效。200并行度会增加调度压力，并且会把并行度传递到下游(如果不做repartition)。我的业务中会把数据写入iceberg..

本文所有内容是基于spark 2.4.3版本官方文档Structured Streaming provides fast, scalable, fault-tolerant, end-to-end exactly-once stream processing without the user having to reason about streamingStructured Stream...