Shockang的博客

前言本文隶属于专栏《Spark 配置参数详解》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见 Spark 配置参数详解正文属性名称默认值描述从哪个版本开始spark.reducer.maxReqsInFlightInt.MaxValue此配置限制在任何给定点获取块的远程请求数。当集群中的主机数量增加时，可能会导致到一个或多个节点的大量入站连接，从而导致worker在负载下失败。通过允许它限制fetch请求的数量

前言本文隶属于专栏《Spark 配置参数详解》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见 Spark 配置参数详解正文spark.executor.memoryOverhead在 YARN，K8S 部署模式下，container 会预留一部分内存，形式是堆外，用来保证稳定性，主要存储nio buffer，函数栈等一些开销这部分内存，你不用管堆外还是堆内，开发者用不到，spark也用不到，所以不用关心，千万不指望调这个参数去提升性