Hadoop集群无法停止 no namenode to stop

在尝试调优Hadoop集群时,遇到无法停止的问题。经过排查,发现由于pid文件在/tmp目录被删除,导致进程无法正常停止。通过检查脚本和配置,确定解决方案是设置HADOOP_PID_DIR环境变量,避免pid文件存储在/tmp。最终通过修改环境变量并重启集群,成功解决了问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

        发现问题的起因是,今天规划对hadoop的一些配置参数进行调优。停hadoop集群的时候发现停不下来。输出如下:

1、查找问题

        输出显示找不到namenode、datanode等进程,但是jps查看所有进程都正常运行着。原因能存在执行的hadoop/sbin的sh脚本里。百度没有查到合适的解决办法。

        于是反查stop-all.sh脚本。发现stop-all.sh 调用的stop-dfs.sh和stop-yarn.sh。两者又调用的hadoop-daemon.sh。

        查看hadoop-daemon.sh(以hdfs为例)代码:

        定位到,no namenode to stop 的原因 是 $pid 这个文件不存在。于是向上找 $pid。

        $pid是由三个变量拼接而成路径。继续向上找:

        可见$pid路径存储着pid文件,并且如果没有配置的话,默认是/tmp。查可以环境变量中并没有响应的配置。考虑到/tmp目录存在定时清理的情况,大概率是hadoop启动时间长了,pid文件被系统给删除了。

        查了一下果然没有。

2、问题处理

        既然服务通过命令停对应的进程,去每台服务器kill相应的进程。但是重启的话,pid文件肯定不能再放在/tmp目录了。需要要手动指定一个HADOOP_PID_DIR。

        比较简单的一个办法就是去该hadoop-daemon.sh的文件,把默认的/tmp替换成想要的路径。但是本着进来不动源码的原则,最好不要这么做。

        另外一个方法就是把HADOOP_PID_DIR设置为环境变量。考虑使用场景较小,没有必要写入系统环境变量。可以写入hadoop的环境变量hadoop-env.sh中,每次启动都会加载hadoop-env.sh。

         重启hadoop集群,查看相应的pid路径,pid文件已存在,且不用担心被删除的问题。

### Hadoop集群缺少NameNode解决方案 当遇到Hadoop集群启动后缺失NameNode的情况时,可以采取一系列措施来解决问题。确保操作是在`hadoop`用户权限下完成,而非`root`用户[^1]。 #### 清理环境 对于环境中残留的数据和临时文件可能造成的影响,应当清理这些文件以排除干扰因素。具体来说: - 关闭当前运行中的HDFS服务: ```bash sbin/stop-dfs.sh ``` - 同样地停止YARN资源管理器: ```bash sbin/stop-yarn.sh ``` - 接着移除各节点上的数据(`data`)以及日志(`logs`)目录内容,并重建必要的目录结构: ```bash rm -rf /path/to/hadoop/data/ rm -rf /path/to/hadoop/logs/ mkdir /path/to/hadoop/logs/ ``` 上述路径应替换为实际安装位置下的相应子目录[^4]。 #### 初始化Namenode 由于`/opt/hadoop-3.2.1/tmp/dfs/name`是由格式化namenode过程生成的,因此如果该路径不存在,则表明尚未初始化namenode。此时需执行如下命令来进行初次设置或重置名称空间的状态: ```bash bin/hdfs namenode -format ``` 此步骤会清除任何先前存在的元数据并建立一个新的文件系统镜像副本[^2]。 #### 验证配置准确性 仔细核对所有涉及`core-site.xml`, `hdfs-site.xml`等核心配置文件内的参数设定,特别是那些指定了存储路径的部分,确认无误后再继续后续的操作。 #### 重启集群组件 最后按照正确的顺序依次开启各个组成部分: - 主机端重新激活分布式文件系统(HDFS): ```bash sbin/start-dfs.sh ``` - 另一台机器负责启动YARN调度框架: ```bash sbin/start-yarn.sh ``` 通过以上流程处理之后,再次利用`jps`工具检查进程状态,观察是否存在预期中的NameNode实例;同时也可以访问Web UI界面验证集群健康状况[^5]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值