集群启动

最新推荐文章于 2024-04-03 17:33:16 发布
原创 最新推荐文章于 2024-04-03 17:33:16 发布 · 568 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#集群 #启动

集群首次启动

1、如果zookeeper集群还没有启动的话, 首先把各个zookeeper起来。
/usr/hadoop/zookeeper/bin/zkServer.sh start    (记住所有的zookeeper机器都要启动)
/usr/hadoop/zookeeper/bin/zkServer.sh status （1个leader,n-1个follower）
输入jps，会显示启动进程：QuorumPeerMain

2.、然后在主namenode节点执行如下命令，创建命名空间
/usr/hadoop/hadoop/bin/hdfs zkfc -formatZK  （复制命令，-会变成— 建议手敲）
验证成功
在zookeeper节点执行
/usr/hadoop/zookeeper/bin/zkCli.sh
ls /
ls /hadoop-ha 
quit

3、在每个节点用如下命令启日志程序
/usr/hadoop/hadoop/sbin/hadoop-daemon.sh start journalnode
（每个journalnode节点都需要启动）

4、在主namenode节点用./bin/hadoop namenode -format格式化namenode和journalnode目录
/usr/hadoop/hadoop/bin/hadoop namenode -format

5、在主namenode节点启动namenode进程
/usr/hadoop/hadoop/sbin/hadoop-daemon.sh start namenode

6、在备namenode节点执行第一行命令，把备namenode节点的目录格式化并把元数据从主namenode节点copy过来，并且这个命令不会把journalnode目录再格式化了！然后用第二个命令启动备namenode进程！
scp -r slave146:/usr/hadoop/storage/hadoop/name /usr/hadoop/storage/hadoop
/usr/hadoop/hadoop/sbin/hadoop-daemon.sh start namenode

7、在两个namenode节点都执行以下命令
/usr/hadoop/hadoop/sbin/hadoop-daemon.sh start zkfc

8、启动datanode
在主NameNode上执行如下命令一次性启动所有datanode
/usr/hadoop/hadoop/sbin/hadoop-daemons.sh start datanode

9. 启动Yarn和备ResourceManager
主NameNode节点上
/usr/hadoop/hadoop/sbin/start-yarn.sh
启动备节点
/usr/hadoop/hadoop/sbin/yarn-daemon.sh start resourcemanager

10.启动hbase
从节点上
/usr/hadoop/hbase/bin/hbase-daemon.sh start regionserver
主节点和备用节点上
/usr/hadoop/hbase/bin/hbase-daemon.sh start master
验证安装成功
hbase shell
list

11.启动spark
在主节点上启动整个集群
./sbin/start-all.sh
在备用节点上启动Standby
./sbin/start-master.sh
验证是否成功
jps


集群正常启动

1.首先把各个zookeeper起来并验证
/usr/hadoop/zookeeper/bin/zkServer.sh start    (记住所有的zookeeper机器都要启动)
验证是否成功
/usr/hadoop/zookeeper/bin/zkServer.sh status （1个leader,n-1个follower）

2、在主namenode节点启动所有节点并验证
/usr/hadoop/hadoop/sbin/start-all.sh
验证是否成功
jps

3、启动备节点ResourceManager并验证
/usr/hadoop/hadoop/sbin/yarn-daemon.sh start resourcemanager
验证是否成功
jps

4、启动Hbase并验证
从节点上
/usr/hadoop/hbase/bin/hbase-daemon.sh start regionserver
主节点和备用节点上
/usr/hadoop/hbase/bin/hbase-daemon.sh start master
验证启动成功
hbase shell
list

6.启动Spark并验证
在主节点上启动整个集群
./sbin/start-all.sh
在备用节点上启动Standby
./sbin/start-master.sh
验证是否成功
jps


从零开始的 Kafka 学习（二）| 集群启动
庭前云落的博客
03-06 1013
ZooKeeper 中的 /controller 节点就会自动被删除，而其他那些 Slave 节点因为增加了监听器，所以当监听到 /controller 节点被删除后，就会马上向 ZooKeeper 发出创建 /controller 节点的请求，一旦创建成功，那么该Broker 就变成了新的 Controller 节点了。方案是不错，但是问题就在于选哪一个Slave节点呢？Broker启动时，会通过 ZK 客户端对象向 ZK 注册当前的 Broker 节点ID，注册后，创建的 ZK节点为临时节点。
oceanbase 集群启动操作
weixin_61212661的博客
01-02 1099
本文主要介绍oceanbase从集群静止状态到正常运行状态的启动过程
集群启动快速指南
coderlaw's study
12-23 382
【启动】 【0】配置hosts vim /etc/hosts 同步hosts scp /etc/hosts root@Worker1:/etc/hosts 【1】启动HDFS cd /usr/local/hadoop/hadoop-2.6.0/sbin/ ./start-dfs.sh 我们通过http:
集群搭建与启动
m0_37658639的博客
09-30 3814
1.克隆虚拟机
集群方式启动 websphere
HouYing
04-02 2539
 wasadmin@CHQ_WEB:/soft/WebSphere/DeploymentManager/bin> ./startManager.shADMU0116I: 在文件           /soft/WebSphere/DeploymentManager/logs/dmgr/startServer.log           中记录工具信息ADMU3100I: 正在从服务器读取配置：dm
启动集群
qq_38512527的博客
09-12 409
(MoeLove) ➜ ~ kind create cluster --config=kindconfig --image=kindest/node:v1.19.0@sha256:6a6e4d588db3c2873652f382465eeadc2644562a64659a1da4 db73d3beaa8848 Creating cluster “kind” … ✓ Ensuring node image (kindest/node:v1.19.0) ???? ✓ Preparing nodes ????
Hadoop-启动集群
zzyczzyc的博客
03-13 4184
注意： NameNode和SecondaryNameNode不要放在同一个物理机上 ResourceManager是消耗内存，不要和NameNode、SecondaryNameNode放在同一个物理机上 hadoop1 hadoop2 hadoop3 HDFS NameNodeDataNode DataNode SecondaryNameNode DataNode Yarn NodeManager ResourceManagerNodeManager NodeManager h
精选资源
Flink的standalone模式集群启动的流程及注意事项
01-20
1.进行相应的解压操作之后，...4.进入bin目录执行 ./start-cluster.sh启动集群 （之前要做好ssh免密设置，可以省去输密码的麻烦） 5.查看Web UI 输入通过浏览器访问flink主节点的8081端口 http://192.168.198.129:8081
ES集群启动流程
tanwt 的博客
10-28 2138
本文主要记录了ES 集群启动过程及简单原理，理解它有助于解决或避免集群维护过程中可能遇到的脑裂、无主、恢复慢、丢数据等问题。
基于ZooKeeper的Kafka分布式集群搭建与集群启动停止Shell脚本
AdamShyly的博客
04-03 1109
模式搭建高可用的集群以提高数据处理效率，但是目前还有许多企业依然使用ZooKeeper搭建Kafka集群，所以本文也采用ZooKeeper组件来搭建Kafka分布式集群。以broker ID为0的节点为例，下方是该节点配置Kafka的具体步骤，另外两个broker节点的配置步骤与其一致。下方是Kafka官网下载地址，本文使用。在虚拟机环境中搭建分布式集群。
集群启动 ！启动！ 启动！ 还有这个——停止！
2301_77329325的博客
10-13 894
- 用于指定namenode地址在机器master上-->-- 指定MapReduce运行时框架，这里指定在yarn上-->-- 指定yarn集群的管理者（resourcemanger)的地址-->(第一次部署才格式化，不需要每次都格式化，如果出错就删除data再格式化）--为secondary namenode配置所在的IP和端口-->-- 用于配置hadoop的数据目录-->--指定HDFS副本的数量，不能超过机器节点数-->1.切换目录和编辑hadoop.sh集群控制文件。
集群启动命令
a1367505542的博客
08-19 5162
Hadoop集群软件启动命令 1.集群规划 hostname/ip Hdfs Yarn Zk Mysql Hive Sqoop Flume Az Oozie Hue node01:192.168.204.138 nn/2nn rm1 zk1 hive sqoop flume solo/exec oozie hue node02:192.168.204.139 dn1 nm1 zk2 sqoop flume exec/web node03:192.168.204.137 dn
集群启动与配置(ing)
不染心的博客
05-28 345
pyspark基本操作(ing) 参考：https://cloud.tencent.com/developer/article/1092146 转换 转换运算将一个RDD转换为另一个RDD，但是由于RDD的lazy特性，转换运算不会立刻实际执行，它会等到执行到“动作”运算，才会实际执行。 动作 RDD执行动作运算之后，不会产生另一个RDD，它会产生数值、数组或写入文件系统；RDD执行动作运算后会立刻实际执行，并且连同之前的转换运算一起执行。 持久化 对于那些会重复使用的RDD，
启动Hadoop集群
qingyang0320的专栏
01-20 2591
有两种方式启动集群：分步启动和集中统一启动。 以下执行环境是在一个有2个节点的集群当中，namenode：sparkmaster，datanode：sparkmaster和sparkworker1 在namenode上统一启动整个集群的方法 首先，要在$YARN_HOME/etc/hadoop/下新建几个文件：1.slaves，里面写上全部的datanode的hostname
redis以集群的方式启动
yzpbright的博客
09-27 2796
redis集群方式启动
集群启动详解
qq_53914420的博客
10-27 1199
大数据生态集群启动详解
五、集群配置、集群启动、常用脚本
weixin_44340038的博客
07-29 1364
3.1各个模块分开启动停止（配置ssh是前提）常用1）整体启动停止HDFS（2）整体启动/停止YARN3.2各个服务组件逐一启动停止1）分别启动停止HDFS组件（2）启动停止YARN。
Hadoop集群启动命令（包括hdfs,Mysql,zookeeper,hive,hbase,spark,zookeeper,kafka）
热门推荐
Nurbiya_K的博客
08-26 2万+
hadoop : 格式化命令 : hadoop namenode -format 启动命令 : start-all.sh 停止命令 : stop-all.sh Hdfs :(其实就是打开hadoop 先进入Hadoop目录，再执行以下命令：) 启动命令 : start-dfs.sh 停止命令: stop-dfs.sh yarn: 启动命令: start...
Hadoop——第一部份 Hadoop入门——五、启动集群
Cyang的博客
01-11 584
五、启动集群 5.1 初始化集群 5.2 启动集群 5.3 检验运行 5.4 集群崩溃后的重置 5.5 集群启动脚本 5.6 集群jps查看脚本 5.7 使用sh脚本启动和查看集群
hbase集群启动
最新发布
11-28
<think> 我们参考了多个引用，其中引用[2]明确指出启动HBase集群的命令是`start-hbase.sh`，引用[3]也提到在主节点上运行`start-hbase.sh`来启动HBase集群。同时，引用[5]提到可以通过脚本分析了解启动过程，但实际启动命令还是`start-hbase.sh`。 另外，引用[3]还提到了启动前的准备工作，包括修改配置文件、同步时间、启动ZooKeeper和HDFS（start-dfs.sh）等。 因此，启动HBase集群的步骤可以总结为： 1. 确保ZooKeeper集群已启动（在ZooKeeper节点上执行`zkServer.sh start`） 2. 确保HDFS集群已启动（在主节点上执行`start-dfs.sh`） 3. 在HBase主节点上执行`start-hbase.sh`启动整个HBase集群 同时，引用[2]也提到，执行`start-hbase.sh`的节点会启动HBase Master，而所有节点（在regionservers文件中配置的节点）都会启动RegionServer。 因此，回答用户关于HBase集群启动的方法，应该包括准备工作和启动命令。 </think> ### HBase集群启动方法 启动HBase集群需要按顺序完成以下步骤（参考引用内容[1][2][3]）： #### 1. 准备工作 - **确保依赖服务运行**： - Hadoop HDFS集群已启动（执行`start-dfs.sh`） - ZooKeeper集群已启动（在各节点执行`zkServer.sh start`） - **配置文件检查**： - `hbase-site.xml`中配置ZooKeeper集群地址： ```xml <property> <name>hbase.zookeeper.quorum</name> <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value> </property> ``` - `regionservers`文件配置所有RegionServer节点： ``` hadoop02 hadoop03 ``` - **时间同步**：确保所有节点时间一致（使用`ntpdate`命令） #### 2. 启动集群 在**HBase Master节点**（如hadoop01）执行： ```bash start-hbase.sh # 启动整个集群 ``` 此命令会： 1. 在当前节点启动HMaster进程 2. 在`regionservers`文件列出的所有节点启动RegionServer 3. 自动启动备份HMaster（若配置HA） #### 3. 验证启动 - **检查进程**： ```bash jps # 主节点应有HMaster，从节点应有HRegionServer ``` - **访问Web UI**： 浏览器打开：`http://hadoop01:60010`（默认端口） - **启动可选服务**： ```bash hbase-daemon.sh start thrift # 启动Thrift服务[^4] ``` #### 4. 停止集群 在**Master节点**执行： ```bash stop-hbase.sh # 需确保Master节点存活[^2] ``` > **注意事项**： > 1. 启动前确保所有节点配置文件一致（可通过`scp`同步） > 2. 若启动失败，检查`logs/`目录下的日志文件 > 3. 集群规模较大时，可用`hbase-daemons.sh`批量操作节点[^5]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值