hadoop和hbase默认的情况下,会把pid文件存储

本文介绍如何配置Hadoop和HBase,避免将进程PID文件存储在临时目录中,确保停止集群时能准确找到PID文件。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

有时候,我们对运行几天或者几个月的hadoop或者hbase集群做停止操作,会发现,停止命令不管用了,为什么呢?
因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是  框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次,所以把pid文件放在这里面,并不是长久之计,为了安全起见,我们还是放到一个固定的目录下最好,当然不能放在/tmp下

如何配置避免把进程文件写到临时目录下面呢?

一:Hadoop配置:

(1)修改hadoop-env.sh
修改如下,如果没有下面的设置,可以直接添加:

export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase
export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置,影响
NameNode
DataNode
SecondaryNameNode
进程pid存储



(2)修改mapred-env.sh
修改
export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置,影响
JobHistoryServer
进程pid存储

(3)修改yarn-env.sh
修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了

export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置,影响
NodeManager
ResourceManager
进程pid存储


二:Hbase的配置
修改hbase-env.sh

export HBASE_PID_DIR=/ROOT/server/pids_hadoop_hbase


上述配置,影响
HMaster
HRegionServer

进程pid存储


再次启动集群,就会发现指定的pids_hadoop_hbase下有进程pid文件已经存储进来:







如此以来,就安全多了,再次关闭集群时,不用再担心进程文件找不到,而导致只能暴力 kill 相关
进程,这样做比较危险,一般情况不推荐这样做

参考文章:
http://blog.youkuaiyun.com/xiao_jun_0820/article/details/35222699

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值