Hadoop 启动/停止集群和节点的命令

最新推荐文章于 2025-10-14 18:20:15 发布
转载 最新推荐文章于 2025-10-14 18:20:15 发布 · 3.3k 阅读 · 9

本文详细介绍了Hadoop集群的启动和停止流程，包括NameNode、DataNode、JournalNode、ResourceManager和NodeManager等组件的管理命令。同时，还提供了Hadoop Shell命令的使用说明，以及各服务的Web界面端口信息。

 

 

集群

启动/停止Hadoop集群：start-all.sh    stop-all.sh

1) 启动NameNode, DataNode

2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步

3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failover Controller

4) 启动YARN守护进程ResourceManager, NodeManager

启动/停止HDFS集群：start-dfs.sh    stop-dfs.sh

1) 启动NameNode, DataNode

2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步

3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failover Controller

启动/停止YARN集群：start-yarn.sh    stop-yarn.sh

据说如果ResourceManager和NameNode不在同一台机器上，那NameNode上无法直接使用start-yarn.sh启动ResourceManager，但NodeManager可以启动，ResourceManager需要在ResourceManager节点上启动，这一点待考证

 

节点

启动NameNode: hadoop-daemon.sh start namenode

启动DataNode: hadoop-daemon.sh start datanode

启动JournalNode节点: hadoop-daemon.sh start journalnode

启动zkfc节点：hadoop-daemon.sh start zkfc

启动ResourceManager: yarn-daemon.sh start resourcemanager

启动NodeManager: yarn-daemon.sh start nodemanager

启动ZooKeeper节点：zkServer.sh start    启动QuorumPeerMain进程

查看ZooKeeper节点状态：zkServer.sh status    查看leader和follower状态

格式化HDFS: hdfs namenode -format

格式化ZKFC：hdfs zkfc -formatZK

查看NameNode和DataNode信息： hdfs dfsadmin -report

查看高可用NameNode状态： hdfs haadmin -getServiceState nn1 (active/standby)

 

Web界面端口

NameNode 50070

DataNode 50075

ResourceManager 8088

NodeManager 8042

更多端口参考

 

安装，查看等常用命令 

查看进程：jps

kill进程：kill -9 pid

内容追加到文件：echo content > file, 如 echo 1 > myid

SSH拷贝：scp,如scp -r /usr/local/hadoop master:/usr/local

关闭防火墙：

查看状态systemctl status firewalld

关闭防火墙systemctl stop firewalld

开机禁用防火墙systemctl disable firewalld

配置免登录：

ssh-keygen -t rsa

ssh-copy-id -i host01

启动集群的过程：

[root@hadoop01 sbin]# sh start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
19/03/12 09:22:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [hadoop01 hadoop02]
hadoop01: starting namenode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-namenode-hadoop01.out
hadoop02: starting namenode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-namenode-hadoop02.out
hadoop05: starting datanode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-datanode-hadoop05.out
hadoop07: starting datanode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-datanode-hadoop07.out
hadoop06: starting datanode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-datanode-hadoop06.out
hadoop04: starting datanode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-datanode-hadoop04.out
hadoop08: starting datanode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-datanode-hadoop08.out
Starting journal nodes [hadoop04 hadoop05 hadoop06 hadoop07 hadoop08]
hadoop06: starting journalnode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-journalnode-hadoop06.out
hadoop05: starting journalnode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-journalnode-hadoop05.out
hadoop04: starting journalnode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-journalnode-hadoop04.out
hadoop08: starting journalnode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-journalnode-hadoop08.out
hadoop07: starting journalnode, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-journalnode-hadoop07.out
19/03/12 09:23:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting ZK Failover Controllers on NN hosts [hadoop01 hadoop02]
hadoop01: starting zkfc, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-zkfc-hadoop01.out
hadoop02: starting zkfc, logging to /usr/software/hadoop-2.7.1/logs/hadoop-root-zkfc-hadoop02.out
starting yarn daemons
starting resourcemanager, logging to /usr/software/hadoop-2.7.1/logs/yarn-root-resourcemanager-hadoop01.out
hadoop07: starting nodemanager, logging to /usr/software/hadoop-2.7.1/logs/yarn-root-nodemanager-hadoop07.out
hadoop06: starting nodemanager, logging to /usr/software/hadoop-2.7.1/logs/yarn-root-nodemanager-hadoop06.out
hadoop08: starting nodemanager, logging to /usr/software/hadoop-2.7.1/logs/yarn-root-nodemanager-hadoop08.out
hadoop04: starting nodemanager, logging to /usr/software/hadoop-2.7.1/logs/yarn-root-nodemanager-hadoop04.out
hadoop05: starting nodemanager, logging to /usr/software/hadoop-2.7.1/logs/yarn-root-nodemanager-hadoop05.out
 

停止集群的过程：

[root@hadoop01 sbin]# sh stop-all.sh 
This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh
19/03/12 09:19:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Stopping namenodes on [hadoop01 hadoop02]
hadoop01: stopping namenode
hadoop02: stopping namenode
hadoop07: stopping datanode
hadoop08: stopping datanode
hadoop05: stopping datanode
hadoop06: stopping datanode
hadoop04: stopping datanode
Stopping journal nodes [hadoop04 hadoop05 hadoop06 hadoop07 hadoop08]
hadoop06: stopping journalnode
hadoop07: stopping journalnode
hadoop08: stopping journalnode
hadoop05: stopping journalnode
hadoop04: stopping journalnode
19/03/12 09:20:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Stopping ZK Failover Controllers on NN hosts [hadoop01 hadoop02]
hadoop01: stopping zkfc
hadoop02: stopping zkfc
stopping yarn daemons
stopping resourcemanager
hadoop06: stopping nodemanager
hadoop05: stopping nodemanager
hadoop07: stopping nodemanager
hadoop04: stopping nodemanager
hadoop08: stopping nodemanager
no proxyserver to stop
 

 

 

Hadoop Shell命令

Hadoop集群启动和停止方法
苍夜月明的博客
07-04 5267
    先看一下集群是怎么规划的，这样就知道哪个服务器该开哪个了，不能瞎开啊！    注意点：所有服务器的 HDFS 都有 DataNode，YARN 都有 NodeManagerResourceManager 很消耗内存，不能和 NameNode、SecondaryNameNode 配置在同一台机器上。（有钱人另说，电脑好啥都能干）NameNode和SecondaryNameNode不能在同一台服务器上          什么叫一起启动 / 停止呢？ 就是一下把hadoop102、hadoop103、ha
Hadoop 启动HA服务（高可用性）
大数据流浪法师的学习笔记与分享
12-12 2693
HA服务的启动 第一步：初始化zookeeper 在hadoop01机器上进行zookeeper的初始化，其本质工作是创建对应的zookeeper节点 cd /export/servers/hadoop-2.6.0-cdh5.14.0 bin/hdfs zkfc –formatZK 第二步：启动journalNode 三台机器执行以下命令启动journalNode，用于我们的元数据管理 cd ...
hadoop集群一键启动、关闭
10-15
自己写的脚本，一键启动hadoop、hbase、zookeeper(几个zookeepler同时启动)、hive。另有一键关闭集群和一键关机功能
配置/启动hadoop、操作hadoop
最新发布
2301_81893110的博客
10-14 497
1下载前1.1 系统要求64 位 Linux（CentOS 7/8、Ubuntu 20+ 均可）内存 ≥4 GB，磁盘 ≥20 GB已配置好静态 IP 与主机名（示例主机名：hadoop-master）1.2 安装 JDK（Hadoop 3.x 须 1.8+）1.3 创建专用用户（可选，但生产必做）1.4 SSH 本机免密（伪分布必须）2下载 Hadoop2.1登录Apache官方网站下载点击最新版（如）的二进制包下载。获取二进制包，2.2 目录结构3安装和配置 Hadoop。
Elasticsearch——》命令：启动和停止
小仙~
09-14 7501
系统：Linux 版本：elasticesearch7.6 根目录：/opt/app/elasticesearch7.6 1、启动 1) 前台启动：bin/elasticsearch 2) 后台启动：bin/elasticsearch -d 2、停止 1) 前台停止：ctrl+c 2) 后台停止：kill -9 elasticsearch的进程号 ...
hadoop的集群启动与关闭指令
Rain_2021245488的博客
07-29 1895
前面我们搭建好了集群，现在可以实现启动和关闭集群，实际上，启动集群就是在每台机子上启动相应的进程，这些进程我们通常称呼它们为角色，角色又有主从之分。我们要想使用集群，就必须得有这样的角色，就好比一个企业里的各种设施和配置都准备好了，得有员工才能工作，最终干活的肯定是这些员工（角色）。
Hadoop集群动态添加/删除节点
qq_53383349的博客
09-07 3160
一、准备新节点，命名为slave3 1、修改新节点的主机名 hostnamectl set-hostname slave3 bash 2、关闭防火墙 systemctl stop firewalld systemctl disable firewalld 二、安装JDK 1、创建工作目录 mkdir -p /usr/java 2、解压缩（安装包位于/usr/package） cd /usr/package tar -zxvf jdk1.8.0_221.tar.gz -C /usr/
【大数据】Hadoop三节点集群搭建
睡觉的咖啡
12-26 2161
下载最新的稳定版（例如 Hadoop 3.4.1）。部分，得到 Java 的根目录。用户直接操作，创建一个普通用户（如。节点为主，完成后将同步到其他节点。在所有节点上配置 Hadoop（节点之间能够通过主机名通信。Hadoop 不允许以。
hadoopcluster-ansible:它包含Ansible Playbook和角色，可通过AWS部署Hadoop多节点集群
05-03
该存储库包含Ansible Playbook和角色，以通过AWS EC2实例部署Hadoop多节点集群。 角色扮演- 角色名称 角色描述 awsInfra4Hadoop 为Hadoop MultiNode Cluster创建AWS基础架构 Hadoop名称节点 配置Hadoop名称节点 ...
hadoop中的单节点和集群设置.pdf
10-23
Hadoop集群的启动可以分为几个步骤：格式化文件系统、启动NameNode和DataNode守护进程。NameNode是HDFS的主节点，负责管理文件系统的命名空间和客户端对文件的访问。DataNode则是存储数据的节点。此外，还有YARN用于...
Hadoop 高可用集群的启动与关闭命令
weixin_70816482的博客
11-08 4151
Hadoop 高可用集群的启动与关闭命令
hadoop常用的启动命令
热门推荐
li123456hkho的博客
03-08 2万+
本人三台节点：hadoop01，hadoop02，hadoop03（部署hive，mysql） 默认jdk，zookeeper，hadoop，hbase，kafka，flume，hue，spark #一.zookeeper启动 (QuorumPeerMain) 1.启动zookeeper 启动：bin/zkServer.sh start (单台节点启动命令) 关闭：bin/zkServer.sh stop (单台节点关闭命令) 查看：bin/zkSer...
hadoop集群关闭命令顺序_启动和关闭Hadoop集群命令步骤
weixin_42499919的博客
02-01 1734
启动和关闭Hadoop集群命令步骤总结：1. 在master上启动hadoop-daemon.sh start namenode.2. 在slave上启动hadoop-daemon.sh start datanode.3. 用jps指令观察执行结果.4. 用hdfs dfsadmin -report观察集群配置情况.5. 通过http://npfdev1:50070界面观察集群运行情况.(如果遇到...
Hadoop启动关闭命令
RedStone618的博客
07-10 3512
注意：第一次启动集群之前需要格式化
Hadoop 停止和启动命令总结
启迪思维，精进技术
08-30 2385
start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode stop-dfs.
Hadoop入门（十）：集群启动关闭的常见命令总结
全栈川川
08-28 4547
hadoop常见命令总结
Hadoop集群之HDFS和YARN启动和停止命令
qq_43688472的博客
12-27 2090
1.启动hdfs集群（使用hadoop的批量启动脚本） /root/apps/hadoop/sbin/start-dfs.sh 2.停止hdfs集群（使用hadoop的批量启动脚本） /root/apps/hadoop/sbin/stop-dfs.sh 3.启动单个进程 /root/apps/hadoop/sbin/hadoop-daemon.sh start 加上相应的名字 [root@h...
Hadoop集群启动和关闭脚本
BIPT919的博客
04-24 6453
文章目录Hadoop集群启动关闭脚本一、Hadoop集群启动脚本1.在cd $HADOOP_HOME路径下创建jiqunstart.sh文件。二、Hadoop集群关闭脚本1.同理在cd $HADOOP_HOME路径下创建jiqunstop.sh文件。三、运行两个脚本1.脚本运行成功后，打开50070查看集群是否启动成功2.可能遇到的问题 Hadoop集群启动关闭脚本 1.首先我们知道在启动Hadoop命令时，我们是 start-dfs.sh→start-yarn.sh →mr-jobhistory-da
hadoop伪分布式启动集群节点命令
06-20
### Hadoop伪分布式模式下启动集群节点的命令及步骤 在Hadoop伪分布式模式下，启动集群节点的过程主要包括格式化NameNode、启动HDFS服务以及启动YARN服务。以下是详细的命令及相关说明[^1]。 #### 1. 格式化NameNode 在首次启动Hadoop伪分布式环境之前，需要对NameNode进行格式化。执行以下命令： ```bash hdfs namenode -format ``` 此命令会初始化HDFS文件系统的元数据存储位置，并生成必要的目录结构。需要注意的是，每次重新格式化NameNode会导致原有数据丢失，因此仅在初次部署或测试环境中使用。 #### 2. 启动HDFS服务 完成NameNode格式化后，可以通过以下命令启动HDFS服务： ```bash start-dfs.sh ``` 该命令会启动HDFS相关的所有进程，包括NameNode和DataNode。如果遇到`jps`命令无法显示DataNode进程的问题，可以参考解决方法：检查`data/tmp/dfs/name/current/version`与`data/tmp/dfs/data/current/version`中的`clusterID`是否一致[^2]。如果不一致，则按照上述引用中的步骤进行修改。 #### 3. 启动YARN服务 为了启用资源管理和任务调度功能，还需要启动YARN服务。执行以下命令： ```bash start-yarn.sh ``` 此命令将启动YARN的ResourceManager和NodeManager进程，从而为分布式计算提供支持。 #### 4. 验证集群状态 启动完成后，可以通过以下命令查看当前运行的Hadoop进程： ```bash jps ``` 正常情况下，输出应包含以下进程： - NameNode - DataNode - ResourceManager - NodeManager 此外，还可以通过浏览器访问HDFS和YARN的Web界面来验证集群状态： - HDFS Web界面地址：`http://localhost:9870` - YARN Web界面地址：`http://localhost:8088` ### 注意事项 - 在启动Hadoop服务之前，请确保相关配置文件（如`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`）已完成正确配置[^1]。 - 如果集群节点未能正常启动，建议检查日志文件以定位问题，日志路径通常位于`logs`目录下。 ```python # 示例：读取Hadoop日志文件 with open('/path/to/hadoop/logs/hadoop.log', 'r') as file: log_content = file.read() print(log_content) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值