hadoop异常处理之pid文件误删除导致部分hadoop进程无法关闭

最新推荐文章于 2025-07-05 23:36:09 发布
最新推荐文章于 2025-07-05 23:36:09 发布
阅读量888 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： hadoop进程无法关闭处理 hadoop pid
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_32641659/article/details/87895306
本文揭示了Hadoop在Linux环境下/tmp目录存放PID文件可能导致的风险，包括进程混乱和HDFS不可用的问题，并提供了解决方案，即修改PID文件存储位置以避免此问题。

1.问题以及原因

采坑重要，Linux在/tmp目录会定期删除一些文件和文件夹, 如30天周期，当然hadoop进程pid文件存放/tmp目录下时，是有被删除风险，生产中出现过这种情况，重启hadoop，jps进程未减少，但是新的和旧的进程混在了一起，造成了紊乱。

2.模拟pid文件被删除情况

ll /tmp/ #默认在/tmp下，可知存在hdfs进程的三个pid存放文件，cat可得带进程pid
rm -rf hadoop-hadoop-datanode.pid #删除hdfs datanode进程的存放文件此时一切是正常的
jps
hdfs dfs -ls/  #正常使用
~/app/hadoop-2.6.0-cdh5.7.0/sbin/stop-dfs.sh  #此时去关闭hdfs会显示无datanode进程
~/app/hadoop-2.6.0-cdh5.7.0/sbin/start-dfs.sh  #我们再启动hdfs，启动时控制台是没有问题的
但是但是，此时新的和旧的进程混在了一起，造成了紊乱，查看datanode日志启是报错的。这是jps没问题三个进程都在，但是实际hdfs是不可用的。问题较严重，隐藏较深。

3、解决方法：修改hadoop pid文件存储位置

mkdir /data/tmp    #创建pid文件存储目录
chmod -R 777 /data/tmp    
vim ~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/hadoop-env.sh #编辑，修改原有的为export HADOOP_PID_DIR=/data/tmp
重启hadoop

 

解决无法停止CDH Supervisord服务的问题
PixelCoder的博客
09-14 473
您可以通过检查进程状态、强制终止进程、检查配置文件和日志文件，以及重启Supervisord服务来解决此问题。CDH Supervisord是一种常用的进程管理工具，用于管理和监控在CDH（Cloudera Distribution for Hadoop）集群上运行的各种进程。最后，如果您尝试了上述所有方法仍无法停止Supervisord服务，您可以尝试重启Supervisord服务。如果无法停止Supervisord服务，可能是由于配置文件或日志文件中的问题导致的。替换为您要停止的实际进程的名称。
cdh supervisord 服务停不掉怎么办
yy的博客
07-29 748
因为agent失联,根据博客配置,发现supervisord根本听不掉,总会飞速自动重启,下面是关闭方法: systemctl stop supervisord
Hadoop集群无法停止 no namenode to stop
ooeeerrtt的博客
07-19 1714
发现问题的起因是，今天规划对hadoop的一些配置参数进行调优。停hadoop集群的时候发现停不下来。输出如下： 1、查找问题 输出显示找不到namenode、datanode等进程，但是jps查看所有进程都正常运行着。原因能存在执行的hadoop/sbin的sh脚本里。百度没有查到合适的解决办法。 于是反查stop-all.sh脚本。发现stop-all.sh 调用的stop-dfs.sh和stop-yarn.sh。两者又调用的hadoop-...
删除mysql的pid文件_删除mysql下pid文件后无法启动怎么解决？
weixin_32836713的博客
01-19 1108
提示：Starting MySQL ERROR! Manager of pid-file quit without updating file的解决办法。 删除了mysql二进制日志文件后，重新启动mysql出现这个报错的,因为磁盘空间小，那些二进制文件占用了很大的空间。所以要删除。后来的解决方法是,进入mysql的var目录提示：“Starting MySQL…… ERROR! Manager ...
hadoop误删PID文件
飞鱼
09-18 1167
最近一不小心误删了一些，tmp下的文件 结果重启hadoop的时候发现，日志报错 2015-09-19 00:06:01,621 INFO org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOException java.net.BindException: Port in use: 0.0.0.0
Hadoop之HDFS
最新发布
如无必要勿增实体
07-05 667
HDFS Shell操作摘要 HDFS提供了丰富的Shell命令进行文件系统操作，包括：启动集群、显示目录(-ls)、创建目录(-mkdir)、文件移动(-moveFromLocal)、内容追加(-appendToFile)、查看内容(-cat)、权限管理(-chmod等)、文件上传下载(-copyFromLocal/-copyToLocal)、文件复制移动(-cp/-mv)、合并下载(-getmerge)等。
基于hadoop的hive数据仓库基础操作知识整理
m0_52181584的博客
07-19 714
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 正在上传…重新上传取消（1）操作接口采用类 SQL 语法，提供快速开发的能力（简单、容易上手）。（2）避免了去写 MapReduce，减少开发人员的学习成本。 无法实现。 Hive 调优比较困难，粒度较粗正在上传…重新上传取消1）用户接口：Client CLI（command-line interface）、JDBC
Hadoop面试题总结（大数据面试）
let_go_on的博客
08-16 1630
概述
hadoop@ubuntu:/usr/local/hadoop$ start-dfs.sh Starting namenodes on [hadoop] hadoop: ssh: Could not resolve hostname hadoop: Name or service not known Starting datanodes localhost: datanode is running as process 70594. Stop it first and ensure /tmp/hadoop-hadoop-datanode.pid file is empty before retry. hadoop: ssh: Could not resolve hostname hadoop: Name or service not known Starting secondary namenodes [ubuntu] hadoop@ubuntu:/usr/local/hadoop$ sudo vim /etc/hosts [sudo] password for hadoop: hadoop@ubuntu:/usr/local/hadoop$ start-dfs.sh Starting namenodes on [hadoop] hadoop: Warning: Permanently added 'hadoop,192.168.146.133' (ECDSA) to the list of known hosts. Starting datanodes localhost: datanode is running as process 70594. Stop it first and ensure /tmp/hadoop-hadoop-datanode.pid file is empty before retry. hadoop: datanode is running as process 70594. Stop it first and ensure /tmp/hadoop-hadoop-datanode.pid file is empty before retry. Starting secondary namenodes [ubuntu]
07-02
如果异常退出导致 PID 文件残留，需手动清理。 3. **SSH 无密码登录** 确保从 `ubuntu` 到 `hadoop`（即自身）的 SSH 无密码登录已配置： ```bash ssh-copy-id hadoop # 复制公钥到目标主机 ``` --- ### **...
hadoop@UBT18desktop:/usr/local/hadoop$ ./sbin/start-dfs.sh Starting namenodes on [localhost] localhost: namenode is running as process 2578. Stop it first and ensure /tmp/hadoop-hadoop-namenode.pid file is empty before retry. Starting datanodes localhost: datanode is running as process 2737. Stop it first and ensure /tmp/hadoop-hadoop-datanode.pid file is empty before retry. Starting secondary namenodes [UBT18desktop] UBT18desktop: secondarynamenode is running as process 3019. Stop it first and ensure /tmp/hadoop-hadoop-secondarynamenode.pid file is empty before retry. SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details. hadoop
03-25
首先，用户提到执行start-dfs.sh时出现这些守护进程已经在运行的情况，导致无法正常启动。我需要根据提供的引用资料和常见解决方法，给出步骤清晰的解决方案。 首先，根据引用[3]和[4]，问题可能出在tmp目录被清空...
hdfs yarn hbase pid文件被删除解决办法：修改hadoop-daemon.sh yarn-daemon.sh hbase-daemon.sh中PID_DIR存储路径
学亮编程手记
09-10 851
pid内容为各进程的进程号 通过ps -ef | grep a 查询a的pid，精确杀死某进程 [hadoop@hadoop000 sbin]$ cat hadoop-daemon.sh |grep pid HADOOP_PID_DIR The pid files are stored. /tmp by default.（ pid默认存储在/tmp目录） pid=HADOOPPIDDIR/hadoop−HADOOP_PID_DIR/hadoop-HADOOPP​IDD​IR/hadoop−HADOOP
pid文件不存在解决方法
Lian_Easel的博客
04-20 4151
修改 hadoop 集群及hbase集群的pid文件存放位置 1 在集群各个节点的/var目录下面创建一个文件夹： sudo mkdir -p /var/hadoop/pids,记得更改这个文件夹的权限，chown -R hadoop:hadoop /var/hadoop,将这个目录及子目录的拥有者改为你的当前用户，我这是hadoop,不然执行start-all.sh的时候当前用户会没有权...
linux删除过期的pid命令,kill -9 pid命令无法停止进程的原因
weixin_33265716的博客
05-15 566
kill -9 pid命令无法停止进程的原因发布时间:2010-10-02 12:15:05来源:红联作者:anniey1问题：情况是这样的，我发现linux系统里进程有很多的lsof：ps aux| grep lsof 命令结果如下：root 10390 0.0 0.0 4960 152 ? D Jul26 0:00 lsof -p 10103root ...
理解.pid文件：为何需要删除以及如何操作
Leon_Jinhai_Sun的博客
02-05 1450
理解.pid文件：为何需要删除以及如何操作
hadoop的各个进程启动和停止命令
m0_67266585的博客
04-03 1833
https://blog.csdn.net/xianpanjia4616/article/details/87696925
cdh 集群安全启动和关闭
m0_49027804的博客
10-13 1519
每当通知断电的时候，我们都需要手动去关闭集群环境，来电的时候手动开启集群，正确操作就显得尤为重要；
hadoop2.9.2安装hadoop_pid_dir_Hadoop3.2 +Spark3.0全分布式安装
weixin_39815925的博客
11-25 333
目前Apache官网已经推出了最新版的Haoop3.2和最新版的Spark3.0，比原来增加了很多新特性。Hadoop的安装主要是为Spark提供HDFS的支持和yarn的调度。那么我们将在本文介绍全分布式的Hadoop和Spark的安装方法，供大家参考。安装系统：Ubuntu 16.04主节点（Master）数量：1从节点（Slave）数量：2一、前期准备1.设置用户在三台机器上新建Hadoop...
CDH集群的关闭与开启
JCY19890312的博客
11-14 6967
周末要关闭大数据集群步骤如下：   1  、在主页上cloudera manager 上关闭cluster和service即可；    2 、远程关闭centos，命令如下：sudo shutdown -h now    3  、开启集群如下：             a ]   开启service   命令如下：sudo /opt/cm-5.0.0/etc/
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值