spark stream冷启动处理kafka中积压的数据

最新推荐文章于 2025-08-15 23:13:53 发布

passer199101

最新推荐文章于 2025-08-15 23:13:53 发布

阅读量3.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/u012307002/article/details/69388242

spark 专栏收录该内容

41 篇文章

订阅专栏

本文介绍如何通过配置Spark Streaming的背压机制来避免冷启动时内存使用过大的问题。通过设置spark.streaming.backpressure.enabled及spark.streaming.backpressure.initialRate参数，可以有效地控制处理的数据量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

因为首次启动JOB的时候，由于冷启动会造成内存使用太大，为了防止这种情况出现，限制首次处理的数据量

spark.streaming.backpressure.enabled=true
spark.streaming.backpressure.initialRate=200

for example:

#!/bin/sh
TaskName="funnel"
UserName="hadoop"
cd `dirname $0`
nohup sudo -u ${UserName} /data/bigdata/spark/bin/spark-submit \
--name ${TaskName} \
--class FunnelMain \
--master yarn \
--deploy-mode cluster \
--executor-memory 2G \
--num-executors 3 \
--conf spark.streaming.backpressure.enabled=true \
--conf spark.streaming.backpressure.initialRate=1000 \
--files /data/apps/funnel/app/conf/conf.properties \
/data/apps/funnel/app/target/apphadoop-1-jar-with-dependencies.jar conf.properties >>../log/${TaskName}.log 2>&1 &
exit 0