Spark Streaming 性能调优

目录

1、合理的批次处理时间

2、合理的kafka拉取数据

3、缓存反复使用的Dstream(RDD)

4、其他一些优化策略

5、结果

---

1、合理的批次处理时间

关于Spark Streaming的批处理时间设置是非常重要的，Spark Streaming在不断接收数据的同时，需要处理数据的时间，所以如果设置过段的批处理时间，会造成数据堆积，即未完成的batch数据越来越多，从而发生阻塞。

另外值得注意的是，batchDuration本身也不能设置为小于500ms，这会导致Spark Streaming进行频繁地提交作业，造成额外的开销，减少整个系统的吞吐量；相反如果将batchDuration时间设置得过长，又会影响整个系统的吞吐量。

如何设置一个合理的批处理时间，需要根据应用本身、集群资源情况，以及关注和监控Spark Streaming系统的运行情况来调整，重点关注监控界面中的Total Delay，如图1所示。

2、合理的kafka拉取数据

对于数据源是Kafka的Spark Streaming应用，在Kafka数据频率过高的情况下，调整这个参数是非常必要的。