Slave2: no datanode to stop（HADOOP_PID_DIR）

最新推荐文章于 2023-04-04 23:33:16 发布

weixin_33919950

最新推荐文章于 2023-04-04 23:33:16 发布

阅读量260

点赞数

文章标签：大数据操作系统 java

本文介绍了如何更改Hadoop集群中进程PID文件的默认存储位置，避免因/tmp目录周期性清理而导致的问题，确保集群稳定运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HADOOP_PID_DIR

本想在环境变量里设置，在相关文件里直接尹用，但是我想起来那时候的JAVA_HOME都不行，还是一个一个设置吧。

有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，
因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次，所以把pid文件放在这里面，并不是长久之计，为了安全起见，我们还是放到一个固定的目录下最好，当然不能放在/tmp下

如何配置避免把进程文件写到临时目录下面呢？

一：Hadoop配置：

（1）修改hadoop-env.sh
修改如下，如果没有下面的设置，可以直接添加：

export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase
export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置，影响
NameNode
DataNode
SecondaryNameNode
进程pid存储

（2）修改mapred-env.sh
修改
export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置，影响
JobHistoryServer
进程pid存储

（3）修改yarn-env.sh
修改或者添加（不存在此项配置时），这里面我没有找到pid的环境设置变量，所以就直接添加了

export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置，影响
NodeManager
ResourceManager
进程pid存储