hadoop 启动脚本start-all.sh执行序列

最新推荐文章于 2023-06-16 11:18:44 发布
原创 最新推荐文章于 2023-06-16 11:18:44 发布 · 4.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #脚本

本文详细介绍了Hadoop 0.21.0版本的启动脚本start-all.sh的执行流程，并展示了其执行序列图。从该版本开始，Hadoop对HDFS和MapReduce组件进行了分离，这为后续版本的发展奠定了基础。

 

    针对hadoop 0.21.0的启动脚本：start-all.sh ，其执行序列图如下：

(图片链接地址在这里 )

其中，几乎所有的脚本都会执行hadoop-config.sh 因此在此图中没有画出

注：hadoop 0.21.0开始，新剥离了hdfs 和 mapred两个脚本。

 

 

Kafka锦集(一)：Kafka的介绍 | 下载和安装 | kafka服务无法关闭 | bin/kafka-server-stop.sh无效 | 总结的很详细
血煞长虹 的专栏
10-15 4935
本文详细介绍了Kafka的下载和安装，简述zk的安装部署，kafka启动时不识别主界面的解决方案。
spark源码分析—spark core(一)：集群启动
Shie_3的博客
05-13 538
spark集群通过spark的start-all.sh脚本进行启动，所以首先我们看一下该脚本的内容，该脚本内容很简单，它会通过调用相同目录下的start-master.sh脚本启动spark Master服务，调用start-slaves.sh脚本启动spark Worker服务。大家注意start-master.sh脚本只会在调用该脚本的机器启动Mater服务，如果Master是HA的话，需要到...
Hadoop设置任务执行队列及优先级
weixin_34280237的博客
06-07 959
  Hive设置方法： SET mapreduce.job.queuename=root.up; SET mapreduce.job.priority=HIGH;   set tez.queue.name=cmbi; ----  设置引擎 set hive.execution.engine=mr;   set hive.execution.engine=spark;   set...
Hadoop脚本启动之Start-all.sh脚本流程解析
KLordy的博客
11-05 1万+
自己的虚拟机环境中部署了一套自己测试用的hadoop环境，平时为了方便启动都是直接调用start-all.sh脚本直接启动，那么这个脚本中的执行流程是如何的，脚本是如何配置参数然后启动集群中各个服务进程的呢？之前只是知道用start-all.sh偷懒，有时间刚好看了一遍这个脚本的整体流程，以start-all.sh作为出发，了解整个脚本启动的流程对于理解集群配置还是有一定帮助的，起码可以了解bin...
hadoop start-all用途
枝寒不栖
05-03 1877
当搭建好了hadoop环境，我们迫不及待的就开始执行start-all.sh脚本，那么这个脚本具体做什么呢 [html] view plain copy 1：hadoop-config.sh  //想使用自己的配置的，需要在这里设置了  2：start-dfs.sh           //start dfs daemons  3：start-mapred.sh   
hadoop中的start-all.sh小看
shuhuai007的专栏
09-05 1220
最近刚刚在看shell编程，正好拿hadoop的几个命令练练手： 先来看start-all.sh这个最简单的shell： bin=`dirname "$0"`------------$0是指第0个参数，在这里指start-all.sh本身,这里是相对路径，这条命令是获取$0所
Hadoop HA 集群启动时各进程的启动顺序以及停止顺序
qq_40727267的博客
08-23 2629
启动顺序 zkServer.sh start start-all.sh namenode datanode journalnode zkfc resourcemanager nodemanager 手动启动standby reourcemanager historyserver 停止顺序与启动相反
如何解释Hadoop中的start-all.sh脚本
11-30
- `start-all.sh`本质上是一个Shell脚本，它通过调用Hadoop配置文件和环境变量来执行启动序列。基本工作流程如下： - **步骤1：加载配置**：脚本首先读取`$HADOOP_HOME/etc/hadoop/`目录下的配置文件（如`hadoop-...
``` root@educoder:~# start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting namenodes on [localhost] localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts. localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-root-namenode-educoder.out localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts. localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-root-datanode-educoder.out Starting secondary namenodes [0.0.0.0] 0.0.0.0: Warning: Permanently added '0.0.0.0' (ECDSA) to the list of known hosts. 0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-root-secondarynamenode-educoder.out starting yarn daemons starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-root-resourcemanager-educoder.out localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts. localhost: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-educoder.out root@educoder:~# mysql -uroot -p123123 -h127.0.0.1 mysql: [Warning] Using a password on the command line interface can be insecure. Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 37 Server version: 5.5.59-0ubuntu0.14.04.1 (Ubuntu) Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql> CREATE DATABASE hdfsdb DEFAULT CHARACTER SET utf8; Query OK, 1 row affected (0.00 sec) mysql> USE hdfsdb; Database changed mysql> CREATE TABLE fruit ( -> fru_no INT PRIMARY KEY, -> fru_name VARCHAR(20), -> fru_price INT, -> fru_address VARCHAR(20) -> ); Query OK, 0 rows affected (0.01 sec) mysql>```mysql>
03-23
用户先是执行了start-all.sh，但系统提示这个脚本已经过时，建议改用start-dfs.sh和start-yarn.sh。这说明他可能在启动Hadoop集群，但用的是旧的方法。然后他启动了Hadoop的各个组件，比如namenode、datanode、...
hadoop@zheng-virtual-machine:/usr/local/hadoop$ ./sbin/start-dfs.sh Starting namenodes on [zheng-virtual-machine] zheng-virtual-machine: ERROR: Cannot set priority of namenode process 8479 Starting datanodes Starting secondary namenodes [zheng-virtual-machine] zheng-virtual-machine: ERROR: Cannot set priority of secondarynamenode process 8815 是权限原因吗？
最新发布
12-04
- **技术原理**：在Hadoop启动序列中，`start-dfs.sh`脚本调用底层Java进程时，会尝试使用`nice`命令调整进程的Nice值（优先级）。Nice值范围在-20（最高优先级）到19（最低优先级），普通用户只能降低优先级（Nice...
大数据Hadoop集群的启动
赵广陆
10-27 1万+
目录1 启动准备工作1.1 配置操作系统的环境变量1.2 创建Hadoop数据目录1.3 格式化文件系统1.4 启动和关闭Hadoop1.5 验证Hadoop是否成功启动1.6 hadoop-daemon.sh的使用2 HDFS常用的操作命令3 hdfs的高级使用命令3.1 HDFS文件限额配置3.2 数量限额3.3 空间大小限额3.4 HDFS的管理命令3.5 hdfs的安全模式 1 启动准备工作 通过前面的配置现在可以启动Hadoop集群了，但是在首次启动Hadoop时还需要做一些准备工作。 1.1
Hadoop 1.x启动服务的顺序学习
温润如风的博客
01-14 1272
在启动hadoop的时候，使用start-all.sh   shell命令来启动hadoop，那么具体的内部执行流程是怎么样的，有图有真相 接下来我们看下hadoop默认的配置文件的内容 要是有耐心，继续 接着看下hadoop-env.sh 脚本的执行过程 接着会启动dfs 执行start-fds.sh start-dfs.sh可以单独运行，也可
hadoop启动命令 start-all.sh失效解决办法
热门推荐
dianzishijian的专栏
07-30 4万+
很多人在配置好了hadoop集群后，输入启动命令 start-all.sh 时，报错：This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh   如下： hadoop@master:~/hadoop-2.6.4$ start-all.sh This script is Deprecated. Inste
Hadoop守护进程
Simon的博客
05-29 9361
一、五大守护进程 hadoop1.x NameNode DataNode SecondaryNameNode TaskTracker JobTracker hadoop2.x SecondaryNameNode ResourceManager NodeManager NameNode DataNode 二、三种启动与关闭方式 1、sbin/start-a
start-all.sh显示未找到命令？
weixin_67584602的博客
06-16 4807
1.进入hadoop目录下（cd /opt/module/hadoop），输入sbin/start-all.sh来开启服务。1、修改profile文件： vi /etc/profile。2、使文件生效：source /etc/profile。注：opt/module是hadoop安装路径。注：opt/module是hadoop安装路径。3、再次执行start-all.sh。
Hadoop启动过程中执行start-all.sh，后台发生了什么
红叶幽香的博客
11-15 1万+
Hadoop启动执行start-all.sh，后台发生了什么 start-all.sh脚本 , start-dfs.sh,start-yarn.sh, hdfs, hadoop start-daemons.sh
Spark运行脚本解析 - start-all.sh
Veechange的博客
11-24 5376
部署Standalone Cluster模式的Spark，可以通过2种方法来启动Cluster：       1）通过手工的方式，单独在Master节点上启动master实例；然后，再单独在Worker节点上启动worker实例；       2）通过Spark自带的运行脚本来管理启动，只需要运行./sbin/start-all.sh，就可以自动启动master和所有的worker实例。  
Hadoop 2.2.0版本./start-all.sh错误解决
程序员之路
08-27 385
转自<http://www.lvcy.net/?post=162> 001 This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh 002 Starting namenodes on [Java HotSpot(TM) 64-Bit Server VM warnin...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值