执行stop-dfs.sh后无法停止hadoop集群【hadoop】

最新推荐文章于 2024-03-18 16:57:48 发布
原创 最新推荐文章于 2024-03-18 16:57:48 发布 · 3.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

当执行stop-dfs.sh脚本后，Hadoop集群无法正常停止。问题源于PID文件被清理，导致进程无法识别。解决方法包括查找并手动终止相关进程（如namenodes、datanodes和secondary namenodes），创建PID文件，或调整$HADOOP_PID_DIR避免被清理，以确保下次启动顺利。

错误情况：

Stopping namenodes on [master]
master: no namenode to stop
slave1: no datanode to stop
slave2: no datanode to stop
slave3: no datanode to stop
Stopping secondary namenodes

3. 原因分析

执行stop-dfs.sh后，会依次执行hadoop-daemons.sh > hadoop-daemon.sh脚本，然后定位到“no $command to stop”
发现脚本会在$HADOOP_PID_DIR目录里面查找hadoop
最低0.47元/天 解锁文章
hadoop集群群起脚本失败_ssh执行/stop-dfs.sh报错JAVA_HOME is not set and could not be found---记录023_大数据工作笔记0183
添柴程序猿的专栏
12-09 520
这个是/opt/module/hadoop-3.1.3/bin/myhadoop.sh的内容。部署完集群以后,执行 myhadoop.sh的时候报错了。然后: vim ./.bashrc。这句的时候就发现报错了;先走到根目录 cd ~其实这里添加上对应的。jdk的配置就可以了。
执行start-dfs.sh后，datenode没有启动的最全解决办法（全网最全）
小白的大数据之旅的博客
08-13 2119
在Hadoop中申请一个Flink的Session会话的时候出现了报错报错内容看到说没有找到datanode,然后我就去检查了一下进程，发现确实没有看到datanode，在使用start-dfs.sh的时候，datanode没有启动。
执行stop-dfs.sh后无法停止hadoop集群
hello world
08-04 1134
提示no namenode to stop no datanode to stop
hadoop stop-dfs.sh 无法停止 namenode datanode
weixin_33913377的博客
12-27 872
原因： HADOOP_PID_DIR 默认为 /tmp 目录，如果长期不访问/tmp/目录下的文件，文件会被自动清理，因此 stop-dfs.sh 无法根据 pid 停止 namenode, datanode。 解决办法： 使用ps命令查找正在运行的namenodes、datanodes和secondary namenodes的pid，然后在/tmp目录创建对应的pid文件，重新执行stop...
一段时间后，stop-dfs.sh关不掉Hadoop3.1.3集群，stop-hbase.sh关不掉HBase集群
ArYe
12-04 1469
stop-dfs.sh 关不掉Hadoop3.1.3集群 stop-hbase.sh 关不掉HBase集群
执行stop-dfs.sh后无法停止namenodes、datanodes和secondary namenodes
煉心的博客
04-07 3903
1. 环境 本文使用Hadoop 2.7.3版本 2. 错误信息 执行stop-dfs.sh后显示以下信息： Stopping namenodes on [master] master: no namenode to stop slave1: no datanode to stop slave2: no datanode to stop slave3: no datanod
Hadoop：stop-dfs.sh停止服务报错
m0_46241543的博客
11-24 972
摘要：Hadoop集群操作时出现错误，提示缺少HDFS相关用户定义。原因是以root用户操作HDFS服务，而Hadoop默认出于安全考虑禁止root用户操作。解决方法是在环境变量中定义HDFS各组件对应的用户为root，包括namenode、datanode等。对于非HA集群，可不设置ZKFC相关变量。
解决hadoop高可用使用start-dfs.sh脚本启动时namenode启动不了的问题
weixin_52918377的博客
05-13 4142
解决hadoop高可用，脚本启动时namenode启动不了的问题 在通过使用hadoop提供的脚本 sbin/start-dfs.sh 启动hdfs时，经常发现高可用的namenode之启动了一个 查看错误日志发现 STARTUP_MSG: Starting NameNode STARTUP_MSG: host = hdp14/192.168.204.14 STARTUP_MSG: args = [] STARTUP_MSG: version = 3.1.4 STARTUP_MSG: cla
hadoop的stop-all失效原因及解决
softwarehe的专栏
11-28 5100
长时间运行hadoop之后，如果运行stop-all.sh，会发现有以下错误： no jobtracker to stop hadoop3: no tasktracker to stop hadoop2: no tasktracker to stop no namenode to stop hadoop2: no datanode to stop hadoop3: no datanod
stop-dfs.sh
大JAVA解决方案
02-10 599
chdir: error retrieving current directory: getcwd: cannot access parent directories: 没有那个文件或目录chdir: error retrieving current directory: getcwd: cannot access parent directories: 没有那个文件或目录[wangshumin@...
长时间未关闭hadoop集群导致stop-all.sh 失效
weixin_42768356的博客
12-06 1447
如果长时间未关闭hadoop集群，执行stop-all.sh命令会报错：no DataNode/NameNode to stop。 这是因为hadoop启动时的默认地址为：export HADOOP_PID_DIR=${HADOOP_PID_DIR} 即存放log的地址（/tmp），在启动时可以看到starting datanode, logging to /hadoop/hadoop-2.7.7...
hadoop重启时,hdfs关闭不了,no namenode to stop
大数据训练营
11-23 9567
1. hdfs机器迁移,执行sbin/stop-dfs.sh  报错: hadoop001: no namenode to stop hadoop001: no namenode to stop hadoop001: no datanode to stop hadoop001: no datanode to stop hadoop001: no datanode to stop Stoppin...
hdfs居然无法正常停止
weixin_30307267的博客
07-06 587
背景 在某次启动hdfs之后，在一个月之后，需要将其重启，但却发现无法停止，无奈只有kill掉进程，再次启动。我并不打算将其问题放弃，想看看到底是什么原因导致这个情况。 查看停止脚本 [hadoop@hadoop001 sbin]$ vim stop-dfs.sh .... # namenodes NAMENODES=$($HADOOP_PREFIX/bin/hdfs getconf -nam...
[Hadoop2.x] Hadoop运行一段时间后，stop-dfs等操作失效原因及解决方法
weixin_34418883的博客
10-26 846
为什么80%的码农都做不了架构师？>>> ...
解决配置安装hadoop没有start-dfs.sh 、 stop-dfs.sh、start-yarn.sh 和 stop-yarn.sh文件问题
2201_75342366的博客
03-18 1845
问题描述：进入cd $HADOOP_HOME/sbin中，准备进行对启动命令赋予权限设置，但是发现没有start-dfs.sh 、 stop-dfs.sh、start-yarn.sh 和 stop-yarn.sh文件。2、将查找到的文件路径复制，然后vi 进入。原因：可能是因为权限的问题，将文件隐藏了。1\通过find命令进行查找。
1.6)Hadoop集群启动停止的方式和常用端口号总结
qq_614617158的博客
08-17 535
1. 各个模块分开启动/停止（配置 ssh 是前提）常用 1.1）整体启动/停止 HDFS start-dfs.sh stop-dfs.sh 2）整体启动/停止 YARN start-yarn.sh stop-yarn.sh 2.各个服务组件逐一启动停止 当强制杀掉服务之后，单独启动单个服务器的某个组件 1）分别启动/停止 HDFS 组件 hdfs --daemon start/stop namenode/datanode/secondarynamenode 2）启动/停止 YARN yarn --d
hadoop集群无法正常关闭和重启
lp895876294的博客
02-28 1100
问题描述 调用stop-dfs.sh脚本，提示无法找到namenode和datanode服务，但在各个服务节点上namenode和datanode正常运行，并且webdfs服务可以正常运行。 原因分析 hadoop脚本将各个服务运行的进程号pid存在了临时目录/tmp下，而centos系统会对/tmp临时目录下长时间不用的文件的进行清理。由于集群管理员长时间没有管理集群服务(重启等)，导致/tmp中进行号文件pid被操作系统清理，所以hadoop脚本找不到正在运行的服务，最终导致无法正常停止运
完美解决Hadoop集群无法正常关闭的问题!
热门推荐
大数据梦想家
02-16 1万+
        相信对于大部分的大数据初学者来说，一定遇见过hadoop集群无法正常关闭的情况。有时候当我们更改了hadoop内组件的配置文件后，必须要通过重启集群来使配置文件生效。         但往往一stop-all.sh,集群下方...
hadoop集群关闭时候namenode进程不能正常结束
weixin_44990104的博客
06-23 906
每次sbin/stop-dfs.sh的时候namenode进程都不会自己结束，困惑！！！ 原因：未配置hadoop相关进程的pid目录时候，pid都是保存在tmp文件夹中，我在最初曾多次格式化hdfs，导致namenode和DataNode的ID不一致，我选择了重新配置pid文件夹位置，因为tmp文件夹会被定期清理 解决方案：hadoop3.2.2文件夹下新建一个pids目录，在etc/hadoop/hadoop-env.sh文件中配置如下部分 export HADOOP_SECURE_PID_DIR=/o
./stop-dfs.sh 执行吗
最新发布
02-28
好的，我现在需要回答用户关于在Hadoop中执行`./stop-dfs.sh`的问题。用户之前已经询问过`stop-all.sh`和`start-all.sh`，现在转向具体的`stop-dfs.sh`。我需要确保回答准确且符合用户的知识水平。 首先，我需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值