SPARK-SUBMIT命令

最新推荐文章于 2024-12-06 20:38:59 发布

lvyanwenwen

最新推荐文章于 2024-12-06 20:38:59 发布

阅读量932

点赞数

CC 4.0 BY-SA版权

分类专栏： SPARK

本文链接：https://blog.youkuaiyun.com/lvyanwenwen/article/details/78088325

SPARK 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了使用Apache Spark进行性能调优的方法，特别是针对基于Apache Beam开发的程序。文中详细讨论了如何合理设置Executor的内存及CPU core数量，并通过具体实例展示了如何调整这些参数以达到最优效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 并发64，运行基于APACHE-BEAM开发的程序

spark-submit --total-executor-cores 64 --executor-cores 8 --executor-memory 20g --class test.ktrTest beam-data-integration-V2.0.0.jar ktrpath=/opt/ZDH/parcels/lib/spark/test_spark1.ktr --runner=SparkRunner

executor-memory
参数说明：该参数用于设置每个Executor进程的内存。Executor内存的大小，很多时候直接决定了Spark作业的性能，而且跟常见的JVM OOM异常，也有直接的关联。
参数调优建议：每个Executor进程的内存设置4G~8G较为合适。但是这只是一个参考值，具体的设置还是得根据不同部门的资源队列来定。可以看看自己团队的资源队列的最大内存限制是多少，num-executors乘以executor-memory，就代表了你的Spark作业申请到的总内存量（也就是所有Executor进程的内存总和），这个量是不能超过队列的最大内存量的。此外，如果你是跟团队里其他人共享这个资源队列，那么申请的总内存量最好不要超过资源队列最大总内存的1/3~1/2，避免你自己的Spark作业占用了队列所有的资源，导致别的同学的作业无法运行。

executor-cores
参数说明：该参数用于设置每个Executor进程的CPU core数量。这个参数决定了每个Executor进程并行执行task线程的能力。因为每个CPU core同一时间只能执行一个task线程，因此每个Executor进程的CPU core数量越多，越能够快速地执行完分配给自己的所有task线程。
参数调优建议：Executor的CPU core数量设置为2~4个较为合适。同样得根据不同部门的资源队列来定，可以看看自己的资源队列的最大CPU core限制是多少，再依据设置的Executor数量，来决定每个Executor进程可以分配到几个CPU core。同样建议，如果是跟他人共享这个队列，那么num-executors * executor-cores不要超过队列总CPU core的1/3~1/2左右比较合适，也是避免影响其他同学的作业运行。

spark-submit --total-executor-cores 24 --executor-cores 4 --conf spark.default.parallelism=240 --class test.ktrTest beam-data-integration-V2.0.0.jar ktrpath=incrementCompare1.ktr --runner=SparkRunner

作业读取HDFS文件，设置文件的分片数spark.default.parallelism，一般HDFS文件128MB是一块，一块分一片

3. 调试端口5006

spark-submit --class ipeghbase.BeamTest --master spark://10.42.120.88:7077 --executor-memory 24g --driver-java-options='-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5006' --total-executor-cores 12 --executor-cores 4 jars/test1.jar --runner=SparkRunner
spark-submit --class BeamTest --master spark://10.42.120.88:7077 --executor-memory 24g --conf spark.default.parallelism=20 --total-executor-cores 12 --executor-cores 4 jars/test1.jar --runner=SparkRunner