集群的关闭顺序

1.在每台机子上部署supervisor-hosts 


# cat supervisor-hosts 
yun01  
yun03
yun02

在运行关机的机子上运行脚本的时候,此时的supervisor-hosts 排序书序就得注意了 ,排在最后才比较安全

直接运行脚本即可,前提确保有可执行权限

#############  myOwnShutdown.sh used for shutdown all ssh computer

#!/bin/bash
. /etc/profile


bin=/root
supervisors=/root/supervisor-hosts


cat $supervisors | while read supervisor
do
        echo $supervisor
        ssh $supervisor init 0 &
done
<think>嗯,用户想知道如何正确关闭已经搭建好的Hadoop集群。我需要回忆一下Hadoop的相关知识。首先,Hadoop集群包括HDFS和YARN两个主要部分,可能还有MapReduce历史服务器。关闭的时候应该按照一定的顺序来,避免数据丢失或者服务异常。 我记得Hadoop的启动脚本是start-dfs.sh和start-yarn.sh,那么关闭的话应该是对应的stop-dfs.sh和stop-yarn.sh吧?是的,用户需要先停止YARN,然后再停止HDFS。这样可以确保资源管理先关闭,再处理存储系统。另外,如果有历史服务器在运行,可能需要单独停止那个进程,使用mr-jobhistory-daemon.sh stop historyserver命令。 然后,用户可能需要检查进程是否真的被终止了,可以用jps命令查看各个节点上的Java进程是否还存在。比如,NameNode、DataNode、ResourceManager、NodeManager这些进程应该都停止了。如果有残留的进程,可能需要手动kill掉,但最好先尝试正常关闭流程,避免强制终止导致问题。 用户可能还关心关闭后的确认步骤,比如访问Web界面,比如HDFS的50070端口或者9870端口,YARN的8088端口,看看服务是否真的下线了。如果页面无法访问,说明服务已经停止。 另外,用户引用的资料中提到启动时需要格式化namenode,但关闭的时候不需要这个步骤。需要提醒用户关闭前确保数据已经保存,所有任务都完成了,避免强制关闭导致数据不一致。如果有长期运行的集群,可能还需要备份数据,但关闭本身可能不需要特别备份,除非有重要数据尚未持久化。 总结步骤应该是:1. 停止YARN;2. 停止HDFS;3. 停止历史服务器;4. 检查进程;5. 验证Web界面。可能还需要提醒不同节点的关闭顺序,比如主节点和从节点是否需要分别处理?不过通常stop脚本会处理所有节点,用户只需要在主节点运行即可,脚本会通过SSH到各个节点执行关闭命令。需要确认这一点是否正确,比如Hadoop的停止脚本是否会自动处理所有节点,而不需要用户逐个登录关闭。 另外,用户可能误操作,比如直接断电或者kill进程,应该提醒避免这样的操作,而是使用正确的脚本来关闭。此外,如果有其他组件如HBase或Zookeeper,可能需要先关闭它们,但用户的问题只涉及Hadoop,所以暂时不需要考虑这些。不过引用中提到了HBase和Zookeeper集群的搭建,可能用户的环境也包含这些,但问题仅针对Hadoop,所以回答应该专注于Hadoop本身的关闭步骤。 最后,生成相关问题的时候,可以考虑集群启动失败如何处理、配置文件检查、常见关闭问题等。</think>### Hadoop集群正确关闭步骤 要安全关闭已搭建的Hadoop集群,需按照以下顺序执行命令,避免数据丢失或服务异常: 1. **停止YARN资源管理** ```bash cd /opt/server/hadoop/sbin/ ./stop-yarn.sh # 停止ResourceManager和NodeManager ``` 2. **停止HDFS分布式文件系统** ```bash ./stop-dfs.sh # 停止NameNode、DataNode和SecondaryNameNode ``` 3. **停止历史服务器(如已启用)** ```bash mapred --daemon stop historyserver # 停止MapReduce历史服务 ``` 4. **验证进程关闭** 在所有节点执行`jps`命令,确认以下进程已消失: - NameNode / DataNode - ResourceManager / NodeManager - JobHistoryServer 5. **Web界面验证** - HDFS状态页面:`http://<主节点IP>:9870` 应显示连接拒绝 - YARN状态页面:`http://<主节点IP>:8088` 应无法访问 [^2] ### 注意事项 - 关闭前确保无正在运行的MapReduce任务,否则会导致任务中断 - 生产环境建议提前12小时通知用户 - 集群重启后需重新加载元数据(无需再次格式化namenode) - 若需完全清理集群状态,可删除`/tmp`目录下的Hadoop临时文件
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值