源码：Hadoop-3.0.3 启动过程中执行start-all.sh开始

最新推荐文章于 2023-12-12 15:16:46 发布
最新推荐文章于 2023-12-12 15:16:46 发布
阅读量1.3k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据-hadoop
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/82794322
本文详细解析了Hadoop-3.0.3中启动流程的关键步骤，包括start-all.sh脚本的作用，hadoop-config.sh中的环境变量初始化，start-dfs.sh中的重要shell命令，以及${HADOOP_HOME}/bin/hdfs脚本的功能。通过深入理解这些脚本，有助于更好地掌握Hadoop集群的启动过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. tart-all.sh脚本

有以下重要的几句shell命令：

#提示start-all.sh已经过时了，被${HADOOP_HOME}/sbin/start-#dfs.sh 以及start-yarn.sh代替
echo "This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh"

#执行$HADOOP_HOME/libexec/hadoop-config.sh
. $HADOOP_LIBEXEC_DIR/hadoop-config.sh

#执行start-dfs.sh
 "${HADOOP_HDFS_HOME}"/sbin/start-dfs.sh --config $HADOOP_CONF_D
了解本专栏 订阅专栏 解锁全文
源码：Hadoop-2.7.4 启动过程中执行start-all.sh开始
九师兄
09-20 1496
1. tart-all.sh脚本 有以下重要的几句shell命令： #提示start-all.sh已经过时了，被${HADOOP_HOME}/sbin/start-#dfs.sh 以及start-yarn.sh代替 echo "This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh" #执行$HADOOP_HOM...
Hadoop目录
九师兄
09-12 1446
1. 普通使用 2. hdfs 3. yarn 3.1 yarn队列 1. 普通使用 2. hdfs 3. yarn 3.1 yarn队列 yarn队列的使用方法
Hadoop脚本启动之Start-all.sh脚本流程解析
KLordy的博客
11-05 1万+
自己的虚拟机环境中部署了一套自己测试用的hadoop环境，平时为了方便启动都是直接调用start-all.sh脚本直接启动，那么这个脚本中的执行流程是如何的，脚本是如何配置参数然后启动集群中各个服务进程的呢？之前只是知道用start-all.sh偷懒，有时间刚好看了一遍这个脚本的整体流程，以start-all.sh作为出发，了解整个脚本启动的流程对于理解集群配置还是有一定帮助的，起码可以了解bin...
hadoop集群参数修改--以及start-all.sh无法启动resourcemanager的问题
自由幻想的博客
12-04 986
hadoop集群参数修改： 1.hadoop-env.sh 修改jdk的路径 2.core-site.xml <!-- hdfs的文件系统指定 --> <property> <name>fs.defaultFS</name> <value>hdfs://centos1:9000</...
Hadoop 3.x（入门）----【Hadoop 运行模式】
是微风，是晚霞，是无可替代
10-02 986
整体启动/停止HDFS整体启动/停止YARN。
hadoop3.3.4安装及启动
weixin_61023150的博客
12-12 1713
输入vi /etc/sysconfig/network-scripts/ifcfg-ens33(ens33是刚刚用ip addr查到的号码)，按i进入编辑模式，给机器分配ip地址，要与在ipv4中设置的ip地址不同，我这里写的是200.编辑完成后按esc退出，按下:wq保存修改。输入cd /home/hadoop语句，切换到该文件夹，输入ls查看是否成功的把压缩包移动到该文件夹下，如果用mv语句一直没有反应，那可以直接先切换到该文件下，然后使用rz语句，就在该文件夹下解压hadoop。
hadoop-3.0.3
10-24
4. **启动Hadoop服务**：通过`start-dfs.sh`和`start-yarn.sh`脚本启动HDFS和YARN服务。 5. **测试Hadoop**：可以使用`hadoop fs -ls`命令检查HDFS是否正常工作，或者编写一个简单的MapReduce程序来验证计算功能。 ...
hadoop3.2.1安装（vm版）
leveretz的博客
02-19 962
Hadoop3.2.1分布式高可用安装 1 下载安装包 jdk-8u271-linux-x64.rpm hadoop-3.2.1.tar.gz zookeeper-release-3.6.2.tar.gz 2 主机规划 IP 主机名 用途 系统进程 用户密码 操作系统 CPU 内存 ...
Ambari2.7.5源码编译安装及遇到的问题解决有这一篇文章就够了
mcj1314bb的博客
01-26 2370
本篇博客列举的所有命令行操作及问题大部分是真实遇到的，还有部分没有遇到，其他博主遇到了也总结到这个博客下，在此贴出前几位博主的链接，也都是大神，希望大家多多支持 如操作过程中遇到什么疑问,或文章内容有什么不严谨的地方 请在评论区留言指出,我会第一时间更正 参考链接 https://xuemengran.blog.csdn.net/article/details/108626421 https://www.cnblogs.com/wang--lei/p/8257238.html https://www
hadoop.2.7.7 start-all.sh stop-all.sh This script is Deprecated
qq 117791303
08-31 523
hadoop.2.7.7 start-all.sh stop-all.sh This script is Deprecated
hadoop2.7.3启动脚本流程
07-27
在学习hadoop启动脚本过程中记录的，有一定的参考价值，值得一看！
hadoop、spark、zookeeper配置大全，绝对可用
10-19
略有些简陋，但绝对可用。hadoop、spark、zookeeper配置大全，绝对可用。
输入./start-all.sh报错。。
kt906885821的博客
07-12 3864
root@ubuntu:/home/hadoop1/opt/hadoop-2.6.5/sbin# ./start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh/home/hadoop1/opt/hadoop-2.6.5/bin/hdfs: line 276: /home/hadoop1/op...
hadoop启动命令 start-all.sh失效解决办法
热门推荐
dianzishijian的专栏
07-30 4万+
很多人在配置好了hadoop集群后，输入启动命令 start-all.sh 时，报错：This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh   如下： hadoop@master:~/hadoop-2.6.4$ start-all.sh This script is Deprecated. Inste
启动hadoop集群之 This script is Deprecated.问题分析
小啊呜的博客
09-25 1万+
启动hadoop集群之 This script is Deprecated.问题分析 一、启动hadoop集群遇到问题 二、问题解决 叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！
Hadoop 3：YARN
Amzmks的博客
05-08 565
通过为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源，这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。队列内部又可以垂直划分，这样一个组织内部的多个成员就可以共享这个队列资源了，在一个队列内部，资源的调度是采用的是先进先出(FIFO)策略。现在，如果B用户在其他作业仍在运行时开始第二个作业，它将与B的另一个作业共享其资源，因此B的每个作业将拥有资源的四分之一，而A的继续将拥有一半的资源。简单通俗点来说，就是一个个队列有独立的资源，队列的结构和资源是可以进行配置的。
启动hadoop进程提示Permission denied的一种解决方法
学如不及,犹恐失之
08-21 1万+
启动hadoop时会发生如下错误 首先运行 ssh localhost 正常情况下是免密登录的，如果你还要输入密码的话，那就是你ssh没有配置好。这里要说一下的是ssh7.0之后就关闭了dsa的密码验证方式，如果你的秘钥是通过dsa生成的话，需要改用rsa来生成秘钥 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa...
启动Hadoop集群遇到Permission denied (publickey,password)问题的解决方法
BrightMoons的博客
11-23 8613
百度上搜到的答案同质化比较严重（基本是sshkey），谷歌上搜到的答案存在越扯越远脱离原问题的不足，也可能是因为大佬不屑于用简单的方法解决问题。解决方法网上一搜一大把，基本是有两种方法，第一种只会影响到本用户所处的环境，第二种会影响到整个根目录（因为要修改。启动集群测试，如果还遇到问题，一般是别的地方有bug，检查一下hadoop那些配置文件写得对不对，第二次是自定义一个密码，该密码用在哪里本例不需要，所以直接回车，默认无密码就行。启动集群时需要与多台slave主机通信，但没有实现ssh免密，所以报错。
启动hadoop时报root@localhost's password: localhost: Permission denied, please try again.错误。
无籽西瓜吃吗的博客
08-22 8773
在装完hadoop及jdk之后，在执行start-all.sh的时候出现 root@localhost's password:localhost:permission denied,please try again。   解决方案： 1.修改root密码：#sudo passwd root 2.辑配置文件，允许以 root 用户通过 ssh 登录：sudo vi /etc/ssh/sshd...
start-all.sh bash: start-all.sh: 未找到命令
最新发布
03-08
<think>嗯，用户遇到了start-all.sh命令未找到的问题，需要解决方案。首先，我应该回忆Hadoop的环境配置和启动脚本的位置。根据引用[1]和[2]，start-all.sh是Hadoop的启动脚本，位于Hadoop安装目录的sbin文件夹下。可能用户没有正确配置环境变量，导致系统找不到这个脚本。 首先，用户可能没有将sbin目录添加到PATH环境变量中。需要检查Hadoop的安装路径，比如是否在/usr/local/hadoop或者用户自定义的目录下。然后，确认sbin目录是否存在，并且start-all.sh脚本确实存在其中。如果不存在，可能安装不完整，需要重新安装或者从源码生成。 另外，引用[3]提到权限问题，用户可能需要给脚本执行权限，使用chmod +x命令。同时，如果用户使用相对路径而没有使用绝对路径，也可能导致命令找不到，建议切换到sbin目录下执行或者使用绝对路径。 还有，Hadoop版本问题。新版本可能弃用了start-all.sh，改用start-dfs.sh和start-yarn.sh分开启动。需要确认用户的Hadoop版本，如果是3.x以上，可能需要使用新的命令。 总结可能的解决步骤：检查安装路径、确认环境变量、检查脚本权限、使用绝对路径、版本适配。最后，提醒用户查看日志和官方文档，引用相关的参考资料来支持解决方案。</think>### Hadoop中start-all.sh命令未找到的解决方案 #### 1. **确认Hadoop安装路径** - 检查Hadoop的安装目录（如默认路径为`$HADOOP_HOME/sbin/start-all.sh`）。若未正确安装或路径配置错误，会导致命令无法识别。 - 运行以下命令验证Hadoop安装完整性： ```bash echo $HADOOP_HOME ls $HADOOP_HOME/sbin/start-all.sh ``` 若输出为空或提示文件不存在，需重新安装Hadoop或修复路径[^1][^2]。 #### 2. **配置环境变量** - 若`$HADOOP_HOME/sbin`未加入系统路径，需手动添加到`PATH`中： ```bash export HADOOP_HOME=/path/to/hadoop # 替换为实际路径 export PATH=$PATH:$HADOOP_HOME/sbin ``` 将此配置写入`~/.bashrc`或`~/.bash_profile`以永久生效。 #### 3. **检查脚本权限** - 确保`start-all.sh`具有可执行权限： ```bash chmod +x $HADOOP_HOME/sbin/start-all.sh ``` #### 4. **使用绝对路径执行** - 若环境变量配置未生效，可直接通过绝对路径执行： ```bash /path/to/hadoop/sbin/start-all.sh ``` #### 5. **版本适配问题** - Hadoop 3.x及以上版本已弃用`start-all.sh`，建议改用分步启动： ```bash start-dfs.sh # 启动HDFS start-yarn.sh # 启动YARN ``` #### 6. **检查Hadoop配置** - 确保`hadoop-env.sh`中`$HADOOP_HOME`已正确配置，并检查`hadoop-config.sh`是否被正确调用。 --- ###
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值