hadoop 启动脚本start-all.sh执行序列

最新推荐文章于 2023-07-10 12:52:43 发布
原创 最新推荐文章于 2023-07-10 12:52:43 发布 · 4.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #脚本

本文详细介绍了Hadoop 0.21.0版本的启动脚本start-all.sh的执行流程，并展示了其执行序列图。从该版本开始，Hadoop对HDFS和MapReduce组件进行了分离，这为后续版本的发展奠定了基础。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

    针对hadoop 0.21.0的启动脚本：start-all.sh ，其执行序列图如下：

(图片链接地址在这里 )

其中，几乎所有的脚本都会执行hadoop-config.sh 因此在此图中没有画出

注：hadoop 0.21.0开始，新剥离了hdfs 和 mapred两个脚本。

 

 

Kafka锦集(一)：Kafka的介绍 | 下载和安装 | kafka服务无法关闭 | bin/kafka-server-stop.sh无效 | 总结的很详细
血煞长虹 的专栏
10-15 4816
本文详细介绍了Kafka的下载和安装，简述zk的安装部署，kafka启动时不识别主界面的解决方案。
spark源码分析—spark core(一)：集群启动
Shie_3的博客
05-13 497
spark集群通过spark的start-all.sh脚本进行启动，所以首先我们看一下该脚本的内容，该脚本内容很简单，它会通过调用相同目录下的start-master.sh脚本启动spark Master服务，调用start-slaves.sh脚本启动spark Worker服务。大家注意start-master.sh脚本只会在调用该脚本的机器启动Mater服务，如果Master是HA的话，需要到...
Hadoop设置任务执行队列及优先级
weixin_34280237的博客
06-07 948
  Hive设置方法： SET mapreduce.job.queuename=root.up; SET mapreduce.job.priority=HIGH;   set tez.queue.name=cmbi; ----  设置引擎 set hive.execution.engine=mr;   set hive.execution.engine=spark;   set...
Hadoop脚本启动之Start-all.sh脚本流程解析
KLordy的博客
11-05 1万+
自己的虚拟机环境中部署了一套自己测试用的hadoop环境，平时为了方便启动都是直接调用start-all.sh脚本直接启动，那么这个脚本中的执行流程是如何的，脚本是如何配置参数然后启动集群中各个服务进程的呢？之前只是知道用start-all.sh偷懒，有时间刚好看了一遍这个脚本的整体流程，以start-all.sh作为出发，了解整个脚本启动的流程对于理解集群配置还是有一定帮助的，起码可以了解bin...
hadoop start-all用途
枝寒不栖
05-03 1858
当搭建好了hadoop环境，我们迫不及待的就开始执行start-all.sh脚本，那么这个脚本具体做什么呢 [html] view plain copy 1：hadoop-config.sh  //想使用自己的配置的，需要在这里设置了  2：start-dfs.sh           //start dfs daemons  3：start-mapred.sh   
hadoop中的start-all.sh小看
shuhuai007的专栏
09-05 1194
最近刚刚在看shell编程，正好拿hadoop的几个命令练练手： 先来看start-all.sh这个最简单的shell： bin=`dirname "$0"`------------$0是指第0个参数，在这里指start-all.sh本身,这里是相对路径，这条命令是获取$0所
Hadoop HA 集群启动时各进程的启动顺序以及停止顺序
qq_40727267的博客
08-23 2602
启动顺序 zkServer.sh start start-all.sh namenode datanode journalnode zkfc resourcemanager nodemanager 手动启动standby reourcemanager historyserver 停止顺序与启动相反
``` root@educoder:~# start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting namenodes on [localhost] localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts. localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-root-namenode-educoder.out localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts. localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-root-datanode-educoder.out Starting secondary namenodes [0.0.0.0] 0.0.0.0: Warning: Permanently added '0.0.0.0' (ECDSA) to the list of known hosts. 0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-root-secondarynamenode-educoder.out starting yarn daemons starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-root-resourcemanager-educoder.out localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts. localhost: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-educoder.out root@educoder:~# mysql -uroot -p123123 -h127.0.0.1 mysql: [Warning] Using a password on the command line interface can be insecure. Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 37 Server version: 5.5.59-0ubuntu0.14.04.1 (Ubuntu) Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql> CREATE DATABASE hdfsdb DEFAULT CHARACTER SET utf8; Query OK, 1 row affected (0.00 sec) mysql> USE hdfsdb; Database changed mysql> CREATE TABLE fruit ( -> fru_no INT PRIMARY KEY, -> fru_name VARCHAR(20), -> fru_price INT, -> fru_address VARCHAR(20) -> ); Query OK, 0 rows affected (0.01 sec) mysql>```mysql>
最新发布
03-23
用户先是执行了start-all.sh，但系统提示这个脚本已经过时，建议改用start-dfs.sh和start-yarn.sh。这说明他可能在启动Hadoop集群，但用的是旧的方法。然后他启动了Hadoop的各个组件，比如namenode、datanode、...
hbase-1.3.6-bin.tar.gz
04-19
然后可以通过`bin/start-hbase.sh`启动HBase集群，`bin/hbase shell`进入HBase的命令行界面进行操作。 HBase的数据模型是基于表的，表由行和列族构成。行键决定了行的排序，列族下可以有多个列，每个列都有一个...
安装篇-Hadoop3.2.1集群安装分享
爱程序，爱生活
08-26 330
1.预备知识 1.1 linux须知 linux微内核的特性，vmware安装linux centos：稳定 linux常操作目录：/bin,/usr,/etc xshell:实用xshell操作centos linux记事本：vi/vim 1.2 常用命令 帮助：man 目录：mkdir，rmdir，mv,ls,rm -rf,cd 文件：touch/vi,cat,cp,rm,more，grep 搜索：which,whereis,find 时间：date ,date -s 用户和组管理：useradd
大数据Hadoop集群的启动
赵广陆
10-27 1万+
目录1 启动准备工作1.1 配置操作系统的环境变量1.2 创建Hadoop数据目录1.3 格式化文件系统1.4 启动和关闭Hadoop1.5 验证Hadoop是否成功启动1.6 hadoop-daemon.sh的使用2 HDFS常用的操作命令3 hdfs的高级使用命令3.1 HDFS文件限额配置3.2 数量限额3.3 空间大小限额3.4 HDFS的管理命令3.5 hdfs的安全模式 1 启动准备工作 通过前面的配置现在可以启动Hadoop集群了，但是在首次启动Hadoop时还需要做一些准备工作。 1.1
Hadoop 1.x启动服务的顺序学习
温润如风的博客
01-14 1155
在启动hadoop的时候，使用start-all.sh   shell命令来启动hadoop，那么具体的内部执行流程是怎么样的，有图有真相 接下来我们看下hadoop默认的配置文件的内容 要是有耐心，继续 接着看下hadoop-env.sh 脚本的执行过程 接着会启动dfs 执行start-fds.sh start-dfs.sh可以单独运行，也可
启动Hadoop时提示 start-all.sh：找不到命令 的解决方法
热门推荐
qq_45069279的博客
11-12 10万+
输入 start-all.sh 命令后，提示 “找不到命令” 这个问题的解决方法。
start-all.sh显示未找到命令？
weixin_67584602的博客
06-16 4707
1.进入hadoop目录下（cd /opt/module/hadoop），输入sbin/start-all.sh来开启服务。1、修改profile文件： vi /etc/profile。2、使文件生效：source /etc/profile。注：opt/module是hadoop安装路径。注：opt/module是hadoop安装路径。3、再次执行start-all.sh。
Hadoop启动过程中执行start-all.sh，后台发生了什么
红叶幽香的博客
11-15 1万+
Hadoop启动执行start-all.sh，后台发生了什么 start-all.sh脚本 , start-dfs.sh,start-yarn.sh, hdfs, hadoop start-daemons.sh
[ Hadoop集群配置 ] 执行start-all.sh命令后 resourcemanage没有启动
CH_zho的博客
07-10 1947
节点配置正常 执行start-all.sh 后，resourcemanage 未启动
Spark运行脚本解析 - start-all.sh
Veechange的博客
11-24 5319
部署Standalone Cluster模式的Spark，可以通过2种方法来启动Cluster：       1）通过手工的方式，单独在Master节点上启动master实例；然后，再单独在Worker节点上启动worker实例；       2）通过Spark自带的运行脚本来管理启动，只需要运行./sbin/start-all.sh，就可以自动启动master和所有的worker实例。  
[spark] Standalone模式下worker启动流程
u012989317的博客
06-17 807
注：spark版本2.1.1，启动模式：Standalone ，需要启动Master和Worker守护进程 一、脚本分析 start-all.sh中会直接启动start-slaves.sh start-slaves.sh中会调用org.apache.spark.deploy.master.Worker 二、源码解析 org.apache.spark.deploy.mas...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值