spark 参数调优8-Networking网络

Deegue

于 2018-08-31 14:48:59 发布

阅读量1.3w

点赞数

分类专栏： hadoop spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/zyzzxycj/article/details/82256228

版权

本文介绍了Spark参数调优中的网络部分，包括`spark.rpc.message.maxSize`、`spark.driver.blockManager.port`、`spark.driver.host`等关键配置，以及它们在Executor与Driver通信、网络超时和重试策略中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark参数调优系列目录地址：

https://blog.youkuaiyun.com/zyzzxycj/article/details/81011540

⑧ Networking

spark.rpc.message.maxSize

executors和driver间消息传输、map输出的大小，默认128M。map多可以考虑增加。

spark.driver.blockManager.port和spark.driver.bindAddress

driver端绑定监听block manager的地址与端口。

spark.driver.host和spark.driver.port

driver端的ip和端口。

spark.network.timeout

网络交互超时时间，默认120s。如果

spark.core.connection.ack.wait.timeout

spark.storage.blockManagerSlaveTimeoutMs

spark.shuffle.io.connectionTimeout

spark.rpc.askTimeout orspark.rpc.lookupTimeout

没有设置，那么就以此参数为准。

spark.port.maxRetries

设定了一个端口后࿰

最低0.47元/天解锁文章