Hadoop集群启动顺序和部分命令整理

最新推荐文章于 2025-11-04 18:11:09 发布
原创 最新推荐文章于 2025-11-04 18:11:09 发布 · 5.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Hadoop集群启动顺序

zookeepeer->hadoop->hbase

Hadoop集群关闭顺序

hbase->hadoop->zookeepeer

Hadoop 主备节点状态查看与手动切换

$HADOOP_HOME/bin/hdfs  haadmin -getServiceState  nn1
注意：此处的nn1为在hdfs-site.xml中配置的namenode服务的名称。

$HADOOP_HOME/bin/hdfs  haadmin -failover --forcefence --forceactive  nn2  nn1
注意：此处“nn2  nn1”的顺序表示active状态由nn2转换到nn1上（虽然nn2在转化前也可以是standby状态）。

安全模式

dfsadmin -safemode value 来操作安全模式，参数value的说明如下：
enter - 进入安全模式
leave - 强制NameNode离开安全模式
get  - 返回安全模式是否开启的信息
wait  - 等待，一直到安全模式结束。

块丢失修复

使用 hadoop fsck / 列出损坏文件
损坏的文件无法恢复，只能删除损坏的文件  hadoop fsck -delete
在namenode文件信息较大的时候会很慢，而且影响hadoop性能
Usage: hadoop fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]
        <path>  检查的起始目录
        -move   将损坏的文件移到到/lost+found
        -delete 删除损坏的文件
        -files  打印出所有被检查的文件
        -openforwrite   打印出正在写的文件
        -list-corruptfileblocks print out list of missing blocks and files they belong to
        -blocks 打印出block报告
        -locations      打印出每个block的位置
        -racks  打印出data-node的网络拓扑结构
默认情况下，fsck会忽略正在写的文件，使用-openforwrite可以汇报这种文件



Hadoop集群部署实战指南
悦分享
09-24 2381
为什么使用大数据技术？数据量越来越大数据分析的实时性越来越强数据结果的应用越来越广泛我们需要使用大数据技术。大数据是收集、整理、处理大容量数据集，并从中获得结果的技术总称。Apache™Hadoop®项目用于可靠，可扩展的分布式计算的开源软件。Apache Hadoop是一个大数据处理框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Apache Hadoop可以从单个服务器扩展到数千台计算机。Apache Hadoop集群中每台计算机都提供本地计算和存储。
Hadoop 集群规划与部署最佳实践
AI天才研究院
08-04 1316
2009年2月2日，Apache Hadoop项目诞生。它是一个开源的分布式系统基础架构，用于存储、处理和分析海量的数据。Hadoop具有高容错性、可靠性、可扩展性、适应性等特征，因而广泛应用于数据仓库、日志分析、网络流量监测、推荐引擎、搜索引擎等领域。由于Hadoop采用“分而治之”的架构设计理念，因此可以轻松应对数据量、计算能力和存储成本的增长。2013年底，随着云计算的火爆，基于云平台的Hadoop服务逐渐成为当下热门话题。
Hadoop集群安装详细步骤|Hadoop安装配置
yymmiinngg的专栏
07-06 500
Hadoop集群安装 　　首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。　　Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。　　准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6...
hadoop三种启动方式
热门推荐
极客栈
04-25 3万+
 第一种方式 启动：分别启动HDFS和MapReduce 命令如下：start-dfs.sh start-mapreted.sh 命令如下：stop-dfs.sh  stop-mapreted.sh 第二种方式 全部启动或者全部停止 启动： 命令：start-all.sh 启动顺序：NameNode，DateNode，Sec
用zookpeer搭建Hadoop的HA集群，组件启动的启动顺序是什么？
最新发布
qq_1342832900的博客
11-04 422
在 ZooKeeper 搭建 Hadoop HA 集群时，，错误的顺序会导致服务无法正常启动或无法实现高可用。
hadoop启动步骤
defang0693的博客
11-13 447
一、ssh的启动 ssh localhost二、hadoop的HDFS的格式化 bin/hadoop namenode -format三、hadoop的start-all.sh的启动 bin/tart-all.sh四、hadoop的datanode的启动 bin/hadoop-daemon.sh start datanode五、hadoop的tasktracker的启动 bin/hado...
Hadoop集群的启动顺序
m0_67403240的博客
09-02 2529
对于hadoop，使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode，存储配置信息，对于HBase，使用Zookeeper的事件处理确保整个集群只有一个HMaster,察觉HRegionServer的联机和宕机，存储访问控制列表等。Hadoop中的两个NameNode为了数据同步，会使用journalnode的独立进程进行相互通信，必须至少3个节点，个数为奇数个。/zookeeper-3.4.5/bin//hadoop-2.7.1/sbin/1.启动zookeeper集群。
hadoop集群启动
让，
05-03 196
master上配置的 namenode， slave1上配置的 resourcemanager， slave2上配置的 secondarynamenode master : start-dfs.sh slave1 : start-yarn.sh 问题：显示50010 端口被占用， root 和 hadoop 用户登录 ，jps查看 显示的内容不一样， 关闭集群后重启集群 FATAL org.apache.hadoop....
2024年网络安全最新Hadoop集群的启动脚本整理及守护线程源码_(1)
2401_84296945的博客
05-01 1169
CLASS=‘org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode’ #SecondaryNameNode守护线程对应的CLASS字节码。CLASS=‘org.apache.hadoop.hdfs.server.datanode.DataNode’ #DataNode守护线程对应的CLASS字节码。2. start-dfs.sh #执行此脚本可以启动HDFS相关线程。#使用hadoop-config.sh加载环境变量。
【面试宝典】74道Hadoop高频题库整理(附答案背诵版)
tyler的博客
07-28 6269
Hadoop的序列化和反序列化是其处理数据的一个重要方面，特别是在MapReduce过程中。在Hadoop中，序列化涉及将对象转换成可以在网络上发送或写入磁盘的格式，而反序列化则是将这些格式还原回原始对象。Hadoop使用自己的序列化框架，不同于Java的原生序列化，因为它更加高效和灵活。为了在Hadoop中有效地传输自定义对象，通常需要让这些对象实现Writable接口。实现Writable接口：自定义的Bean类需要实现Writable接口，这要求定义和方法。这两个方法分别用于序列化和反序列化对象。
《Hadoop》之"踽踽独行"（八）Hadoop集群的启动脚本整理及守护线程源码
从明老师的博客
01-09 2121
在上一章的伪分布式集群搭建中，我们使用start-dfs.sh脚本启动了集群环境，并且上传了一个文件到HDFS上，还使用了mapreduce程序对HDFS上的这个文件进行了单词统计。今天我们就来简单了解一下启动脚本的相关内容和HDFS的一些重要的默认配置属性。 一、启动脚本 hadoop的脚本/指令目录，就两个，一个是bin/，一个是sbin/。现在，就来看看几个比较重要的脚本/指令。 1、...
Hadoop集群的启动
weixin_44943389的博客
09-30 7553
在首次启动Hadoop之前还需要进行一些配置工作我们是在Linux集群上安装Hadoop集群。
Hadoop启动集群
m0_65136138的博客
07-13 967
1 配置workers添加以下内容：hadoop102 hadoop103 hadoop104 配置这个文件是为了说明有多少台主机配置好后一样要分发到其他机器中2 启动集群如果是第一次启动，要在hadoop102上格式化NameNode(我把它配置在了Hadoop102)语法：启动HDFS在配置了ResourceManager的节点（hadoop103)上启动YarnHadoop提供了在网页端查看NameNode和Yarn的网页 （a）浏览器中输入：http://hadoop102:9870
Hadoop集群环境启动顺序
Appleyk的专栏
08-20 1万+
  Linux查看端口占用情况   netstat -tunlp |grep 8000     Hadoop环境启动顺序：     注：上来一定要关闭防火墙：   service iptables stop   1、启动Hadoop（HDFS、ResourceManager、Yarn、MapReduce...） start-all.sh   验证HDFS是否启动成功...
Hadoop生态系统各个组件启动顺序
飘羽的博客
08-22 1651
启动顺序：Hadoop -> MySQL -> Hive -> ZooKeeper -> HBase -> Spark -> Kafka -> Flink。关闭顺序：Flink -> Kafka -> Spark -> HBase -> ZooKeeper -> Hive-> Hadoop。④启动Spark集群前需先启动Hadoop集群（若需连接Hive获取数据则需先启动MySQL、Hive元数据服务）Hadoop集群与Spark集群。③启动HBase集群前需先启动。⑥启动Kafka集群前需先启动。
hadoop集群启动（基础篇）
建建的博客
08-30 457
hadoop集群 centos安装及网络配置 – 虚拟机安装以在之前出过博客 点击链接 – 以及网络配置 点击链接 jdk安装 – jdk环境安装会单独出一篇博客 hadoop安装 – hadoop单独出一片博客 修改hosts文件 vi /etc/hosts #添加以上字段 前面为ip地址 后面为hostname(方便记忆) 克隆虚拟机并修改各自ip地址 修改hostname vi /etc/hostname # 修改为相应的hostname # 比如hadoop151...
Hadoop启动停止的三种方式
yjc_1111的专栏
12-06 4291
（1）分别启动HDFS和MapReduce，命令如下： 启动： start-dfs.sh start-mapred.sh 停止： stop-mapred.sh stop-dfs.sh （2）全部启动或停止 启动： start-all.sh 启动顺序： NameNode->DataNode->Seco
hadoop集群的搭建和启动
云计算大数据学习之小学生的博客
03-22 1346
Hadoop的集群搭建一:JDK装好二:配置了免密登陆和主机名映射三:同步时间和关闭防火墙四:然后开始搭建hadoop集群 NAT 方式联网 配置 h ssh  免密登陆#生成 ssh 免登陆密钥ssh-keygen -t rsa （四个回车）执行完这个命令后，会生成 id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免密登陆的目标机器上ssh-copy-id node-02 配置 ...
Hadoop集群的启动与停止（包含编辑脚本）
jyqkl的博客
10-05 2202
环境要求：linux系统。
重启hadoop集群
03-20
<think>好的，我需要帮助用户了解如何安全重启Hadoop集群。首先，我需要回顾Hadoop集群的基本结构和组件，比如HDFS、YARN以及相关的守护进程。然后，正确的重启步骤应该是怎样的呢？可能涉及到停止和启动各个服务，确保数据的一致性和服务的可用性。 我记得Hadoop集群通常包括NameNode、DataNode、ResourceManager、NodeManager等组件。用户可能是在生产环境中操作，所以安全重启非常重要，避免数据丢失或服务中断。首先，应该先停止YARN相关的服务，然后是HDFS，或者反过来？需要确认正确的顺序。 参考用户提供的引用内容，引用[3]提到了启动集群的命令，包括start-dfs.sh、start-yarn.sh和mr-jobhistory-daemon.sh。那么重启的话，应该是先停止这些服务，再启动。正确的顺序可能是先停止YARN，再停止HDFS，这样可以避免任务中途中断导致的问题。不过，我需要确认这个顺序是否合理，是否还有其他步骤，比如检查进程是否完全终止。 另外，用户提到“安全重启”，可能还需要考虑备份元数据，比如NameNode的元数据，防止在重启过程中出现故障。此外，在分布式环境中，是否要逐个节点重启，还是整体重启？通常可能是先在主节点停止服务，然后在从节点，再按相反顺序启动。 还有，用户提供的引用[2]中提到了配置环境变量和Hadoop的安装路径，这可能影响脚本的执行路径，所以在执行停止和启动命令时，需要确保环境变量正确设置，或者使用绝对路径。 此外，检查进程是否真的停止很重要，避免有些进程没有正确终止，导致端口冲突或者其他问题。可能需要使用jps命令来确认所有Java进程已经结束。 最后，验证集群状态，比如通过hdfs dfsadmin -report和yarn node -list来检查节点是否正常加入集群。如果有问题，可能需要查看日志文件排查错误。 总结步骤的话，大致是：停止YARN服务，停止HDFS，停止JobHistory，检查进程，然后按相反顺序启动，再验证状态。同时，注意备份和日志检查。现在需要把这些步骤整理成清晰的指南，确保用户能够安全地重启集群。</think>### 如何安全重启Hadoop集群的步骤指南 重启Hadoop集群需谨慎操作以避免数据损坏或服务中断。以下是基于Hadoop 3.x版本的最佳实践： #### 一、停止集群服务 1. **停止YARN资源管理服务** 在ResourceManager节点执行： ```bash stop-yarn.sh ``` 这会关闭YARN的ResourceManager和所有NodeManager进程[^3]。 2. **停止HDFS存储服务** 在NameNode节点执行： ```bash stop-dfs.sh ``` 该命令会关闭NameNode、DataNode和SecondaryNameNode[^2]。 3. **停止JobHistory服务** 在主节点执行： ```bash mr-jobhistory-daemon.sh stop historyserver ``` #### 二、验证进程终止 执行以下命令检查所有Hadoop相关进程是否已退出： ```bash jps ``` 确保输出中无`NameNode`、`DataNode`、`ResourceManager`等进程。 #### 三、启动集群服务 1. **启动HDFS存储服务** 在NameNode节点执行： ```bash start-dfs.sh ``` 2. **启动YARN资源管理服务** 在ResourceManager节点执行： ```bash start-yarn.sh ``` 3. **启动JobHistory服务** 在主节点执行： ```bash mr-jobhistory-daemon.sh start historyserver ``` #### 四、集群状态验证 1. **检查HDFS状态** ```bash hdfs dfsadmin -report ``` 确认所有DataNode处于`Live`状态。 2. **检查YARN状态** ```bash yarn node -list ``` 验证所有NodeManager正常注册。 3. **检查Web UI** 访问`http://<NameNodeIP>:9870`和`http://<ResourceManagerIP>:8088`确认服务状态。 #### 五、注意事项 - **元数据备份**：重启前建议备份NameNode元数据目录（`dfs.namenode.name.dir`）[^2]。 - **滚动重启**：生产环境可采用逐个节点重启方式，通过`hadoop-daemon.sh stop/start`控制单个守护进程。 - **日志检查**：查看`$HADOOP_HOME/logs/`目录下日志文件排查异常。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值