【BUG】Windows配置spark运行cmd时报错:WARN ProcfsMetricsGetter: Exception when trying to compute pagesize,...

本文介绍了在Spark3.0及以上版本中遇到关于ProcfsMetricsGetter的警告如何解决,包括配置环境变量、修改metrics.properties设置processTreeMetrics为false,以及降级至spark-3.0以下版本如2.4.8的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

报错:WARN ProcfsMetricsGetter: Exception when trying to compute pagesize, as a result reporting of ProcessTree metrics is stopped

解决方法:

1.配置环境

spark的解压路径下
在这里插入图片描述
将其添加到环境变量:

%SPARK_HOME%\bin;%SPARK_HOME%\sbin;%SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-0.10.9-src.zip;%PYTHONPATH%

2.把配置中spark.executor.processTreeMetrics 改成false

修改metrics.properties.template文件为metrics.properties
在这里插入图片描述
在metrics.properties内添加:

spark.executor.processTreeMetrics.enabled=false

基本都是spark3.0及以上的版本才会出现,相当于屏蔽掉问题。

3.使用spark-3.0以前的版本

下载地址:https://archive.apache.org/dist/spark/
下载解压spark-2.4.8-bin-hadoop2.7.tgz,如果出现一样的问题就用以上方法解决。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值