大数据集群启动顺序及命令

最新推荐文章于 2025-03-18 11:51:55 发布
最新推荐文章于 2025-03-18 11:51:55 发布
阅读量1.7k 收藏 5
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43362002/article/details/109148349
版权

文章目录

1.在slave1上启动zookeeper

  1. 进入目录
cd /opt/module/zookeeper-3.4.10/
  1. 启动zookeeper
bin/zkServer.sh start
  1. 查看状态
bin/zkServer.sh status

在这里插入图片描述

2.启动hadoop

  1. 进入hadoop目录
cd /opt/module/hadoop-2.7.3/
  1. 启动所有服务
sbin/start-dfs.sh

在这里插入图片描述

  1. 在slave1上启动yarn
    (先进入hadoop目录)
sbin/start-yarn.sh

在这里插入图片描述
此时三个虚拟机启动的进程分别是
在这里插入图片描述

在master上启动hbase

  1. 进入hbase目录
cd /opt/module/hbase-1.2.4
  1. 启动hbase
bin/start-hbase.sh

此时的集群启动进程为
在这里插入图片描述
在网站上输入master的IP:16010进行测试

http://192.168.152.101:16010/master-status

在这里插入图片描述

启动kafka

  1. 进入kafka目录
cd /opt/module/kafka/
  1. 启动kafka
bin/kafka-server-start.sh -daemon config/server.properties
  1. 三台虚拟机进行同样的操作，成功后jps会多一个kafka
    在这里插入图片描述
大数据集群启动操作-单节点、集群
初学者
08-17 933
1、启动hadoop ① 需要启动 1、启动hdfs sbin/start-dfs.sh 2、启动yarn sbin/start-yarn.sh 3、启动日志（特别关键，可以很方便的从历史日志中查看你哪里出错，包括system.out.println打印的也可以呈现） sbin/mr-jobhistory-daemon.sh start historyserver 2、启动zookeeper b...
大数据组件启动顺序
weixin_43847900的博客
07-06 291
配置并启动Hadoop集群
最新发布
2501_90813563的博客
03-18 515
可以查看各个节点启动的进程。在浏览器输入master的ip 172.18.0.2:9870 查看节点状态。目录下的配置文件，这里仅设置正常启动必须的设置项，包括。4、修改文件mapred-site.xml。5、修改文件yarn-site.xml。6、修改文件hadoop-env.sh。2、修改文件core-site.xml。3、修改文件hdfs-site.xml。(3.x需要配置)共6个文件。配置集群环境时，需要修改。1、修改文件workers。将整个文件替换为如下内容。
USDP使用笔记（三）大数据集群及组件启停
云来山更佳，云去山如画
03-11 1380
USDP大数据集群及组件的启停
2024年大数据最新Hadoop集群部署和启动与关闭_启动hadoop(2)，2024年最新膜拜大佬
2401_84182578的博客
05-05 997
完成系统环境变量文件profile配置后保存退出，不过此时配置内容尚未生效，还需要执行“”命令初始化系统环境变量使配置内容生效。
Hadoop生态系统各个组件启动顺序
飘羽的博客
08-22 1496
启动顺序：Hadoop -> MySQL -> Hive -> ZooKeeper -> HBase -> Spark -> Kafka -> Flink。关闭顺序：Flink -> Kafka -> Spark -> HBase -> ZooKeeper -> Hive-> Hadoop。④启动Spark集群前需先启动Hadoop集群（若需连接Hive获取数据则需先启动MySQL、Hive元数据服务）Hadoop集群与Spark集群。③启动HBase集群前需先启动。⑥启动Kafka集群前需先启动。
「大数据集群的搭建和使用」背景知识：大数据Hadoop生态圈介绍
weixin_62909516的博客
07-09 2114
HDFS 是 Hadoop 的主要存储系统，为大数据提供可扩展的、高容错的、可靠的和具有成本效益的数据存储。Hadoop是一个庞大的家族，包含存储，计算等一系列产品组件，需要了解其中的一系列组件，包括HDFS，MapReduce，Yarn，Hive，HBase，ZooKeeper，Flume，Kafka，Sqoop，HUE，Phoenix，Impala，Pig，Oozie，Spark等，知道其干什么，维基百科定义。它的任务包括加载数据，应用所需的过滤器并以所需的格式转储数据。它是容错和可靠的机制。
【大数据】Hadoop常用启动命令.pdf
12-24
适用于快速启动整个集群，但不推荐在生产环境中首次启动时使用，因为可能忽略特定的启动顺序。 2. `stop-all.sh`: 相反，这个命令会停止所有Hadoop守护进程，同样适用于快速关闭整个集群。 3. `start-dfs.sh` 和 `...
从0开始一步一步搭大数据集群平台，小白也能玩，超详细！！！
weixin_45594417的博客
05-24 1263
从零开始の大数据生活（始める！！！） 以下内容纯属个人学习工作总结，知识有限，有错的地方还请各位大佬指正。
大数据之hadoop分布式集群初次启动 (2).docx
06-21
首先，Hadoop集群启动顺序为先HDFS后YARN，这体现了Hadoop中存储层优先于计算层的设计理念。其次，格式化HDFS是集群初次运行前的重要步骤，格式化不当可能导致数据损坏或节点间通信失败。最后，SSH免密登录的设置是...
使用fabcluster一键部署Spark及相关大数据集群
- 使用Fabcluster提供的命令进行集群服务的启动、停止、监控等操作。 ### 附加资源 廖雪峰的Python教程和Fabric官方文档都是学习Fabcluster前非常好的参考资料。廖雪峰的教程可以帮助用户熟悉Python语言的基础...
大数据各部分功能组件启动命令
random0815的博客
01-19 517
hadoop部分 hive的启动命令 1.启动hiveserver2:  输入hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10000 2.这时hive的服务器开启，再重新打开一个窗口输入beeline，出现beeline version的信息 3.在输入!connect jdbc:hive2://17
Linux 大数据如何启动，步骤如下
weixin_41290863的博客
01-14 599
启动步骤： 1.启动3台虚拟机【都用root登录】 2.启动hadoop： start-all.sh，然后jps进行测试出现633 第一台 6 第二台3 第三台 3 讲真我刚开始就不知道 633什么意思。说的不明不白的。 3.启动3台zookeeper： zkServer.shstart，jps出现744 第一台spark1 【7】 第一台spark2 【4】 第一台spark3 【4】 4.启动3台kafka： kafka-server-start.s.
大数据实习服务启动项汇总
EnjoyToShare | 资源分享平台
07-23 383
启动master1节点上的服务： systemctl start hadoop-hdfs-namenode systemctl start hadoop-hdfs-datanode 启动master2节点上的服务： systemctl start hadoop-hdfs-datanode systemctl start hadoop-hdfs-secondarynamenode 启动s...
Hadoop集群启动命令（包括hdfs,Mysql,zookeeper,hive,hbase,spark,zookeeper,kafka）
热门推荐
Nurbiya_K的博客
08-26 2万+
hadoop : 格式化命令 : hadoop namenode -format 启动命令 : start-all.sh 停止命令 : stop-all.sh Hdfs :(其实就是打开hadoop 先进入Hadoop目录，再执行以下命令：) 启动命令 : start-dfs.sh 停止命令: stop-dfs.sh yarn: 启动命令: start...
Hadoop集群环境启动顺序
Appleyk的专栏
08-20 1万+
  Linux查看端口占用情况   netstat -tunlp |grep 8000     Hadoop环境启动顺序：     注：上来一定要关闭防火墙：   service iptables stop   1、启动Hadoop（HDFS、ResourceManager、Yarn、MapReduce...） start-all.sh   验证HDFS是否启动成功...
HDFS和YARN哪项服务先开启
优快云 精品推荐
03-06 562
在 Hadoop 中，HDFS 和 YARN 是两个不同的服务，它们可以同时启动，也可以分别启动。一般情况下，需要先启动 HDFS，因为其他服务如 MapReduce、Spark 等需要依赖 HDFS 存储和读取数据。而 YARN 则是用于资源调度和任务管理的服务，它可以在 HDFS 启动后启动。需要注意的是，启动 HDFS 和 YARN 之前，需要先配置好 Hadoop 的相关配置文件，以确保服务可以正常启动。同时，启动服务时需要按照正确的顺序依次启动，以避免出现启动失败等问题。
Hadoop集群部署和启动与关闭_启动hadoop
2401_84181704的博客
04-11 2059
自定义配置文件，这些文件基本没有任何配置内容，存在于Hadoop安装目录下的etc/hadoop/目录中，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等，开发人员可以根据实际需求进行修改，Hadoop会优先选择自定义配置文件中的参数。为了提高Hadoop集群的高可用性，通常使用ZooKeeper为Hadoop集群提供自动故障转移和数据一致性服务。完成系统环境变量文件profile配置后保存退出，不过此时配置内容尚未生效，还需要执行“
ClouderaManager搭建Spark on yarn（spark 2.x）集群最详尽版
qq_20878845的博客
03-19 1922
0、组网（实验室资源有限，只能在同学电脑上安装虚拟机组）。 （1）买千兆以上路由器+六类以上网线+每台机器两块千兆网卡+4台物理机。 （2）用路由器连接集群机器，配置ip，路由器wan端，即后面配置机器时候的网关ip。（我个人配置成了10.10.10.1） （3）配置物理机网络。我是用的vmware虚拟机作为节点的，就以这样为例，先设置了物理机系统ip分别为10.10.10.10，10.10...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Sparky*

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值