Hadoop集群如何启动

最新推荐文章于 2024-05-30 11:05:02 发布

qq_28725295

最新推荐文章于 2024-05-30 11:05:02 发布

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/qq_28725295/article/details/86740959

本文详细介绍了如何启动Hadoop集群，包括启动Zookeeper、Hadoop服务、Spark以及Azkaban。启动流程涵盖Zookeeper的启动与状态检查，Hadoop的一次性启动所有服务以及单独启动Namenode、Datanode、Resourcemanager、Nodemanager、JournalNode、HistoryServer和proxyserver。同时，还涉及了Spark服务的启动，包括master和worker的启动。最后提到了Azkaban的Executor Server和Web Server的启动。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop集群如何启动
1 hadoop软件安装的目录：/opt/app
有如下软件：hbase、spark-2.1.0-bin-hadoop2.4、hbconf、sqoop、hdconf、hive、zookper-3.4.6、hadoop-2.5.2、java1.8.0_121、spark-1.5.2-bin-2.5.2

集群1（分析集群）启动
依次zookper、hadoop服务、spark、azkaban
1）启动和停止zookeeper
/opt/app/zookeeper-3.4.6/bin/zkServer.sh start（启动）
/opt/app/zookeeper-3.4.6/bin/zkServer.sh stop （停止）
/opt/app/zookeeper-3.4.6/bin/zkServer.sh status （查看状态）

注意：zookper需要在部署zookper服务器上单独启动，不能一次启动所有；
部署Zookper的服务器为奇数，其中一台为leader，其他为follower
启动成功，输入jps，出现quorumpeermain服务

2）一次性启动和停止所有机器所有其他hadoop服务
（namenode\resourcemanager\datanode\nodemanager\journalnode\webappproxyserver\jobhistoryserver）
/opt/app/hadoop/sbin/start-all.sh（启动）
/opt/app/hadoop/sbin/start-all.sh（停止）
注意：可以在集群中任何一台机器上运行
启动完成后，可以进去集群。输入jps，查看服务启动情况
Namenode有2个，其中1作主namenode，1个作辅namenode（Secondarynamenode）
辅助namenode上的resourcemanager通过start-all.sh可能启动不了，需要进入辅namenode上手动启动（/opt/app/hadoop/sbin/hadoop-daemon.sh start