本文详细介绍了Spark中关键参数的设置方法，包括spark.default.parallelism、spark.sql.shuffle.partitions等，用于提升Spark Streaming和Spark SQL的性能。同时，还探讨了与Kafka集成时的参数配置，如spark.streaming.kafka.partitionMultiFactor和spark.streaming.kafka.maxRatePerPartition，以及数据本地性等待时间spark.locality.wait的调整策略。
1：spark.default.parallelism 设置sparkstreaming程序的并行度:
2：spark.sql.shuffle.partitions 设置spark-sql程序的并行度
3：spark.scheduler.listenerbus.eventqueue.size=100000 批次太多，sparkui的batch会显示许多未完成的批次，实际上该批次已经完成
4：spark.streaming.kafka.partitionMultiFactor=3 设置kafka分区的多因子
5.spark.streaming.kafka.maxRatePerPartition 和kafka集成时候，限制每秒每个分区消费的数据量
6.spark.locality.wait 数据本地性等待时间
扫一扫
1721
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
