Hadoop start-dfs.sh 的执行流程

最新推荐文章于 2025-06-02 11:06:06 发布
原创 最新推荐文章于 2025-06-02 11:06:06 发布 · 4.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细解析了Hadoop启动流程，从start-dfs.sh到hdfs的每一步骤都进行了详细的解释，包括如何加载配置信息、执行slaves和daemon、调用HDFS执行相关操作，直至最终调用Java底层源代码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【start-dfs.sh】-->【hdfs-config.sh】(说明：加载各种配置信息)

    -->【hadoop-daemons.sh】(说明：执行slaves和daemon)

    -->【hadoop-daemon.sh】(说明：根据command调用HDFS。执行相关操作)

    -->【hdfs】(说明：执行相关操作，加载CLASS文件)

    -->【调用Java底层源代码】(说明：执行相关Class文件的Main函数)

执行start-dfs.sh后，datenode没有启动的最全解决办法（全网最全）
小白的大数据之旅的博客
08-13 1976
在Hadoop中申请一个Flink的Session会话的时候出现了报错报错内容看到说没有找到datanode,然后我就去检查了一下进程，发现确实没有看到datanode，在使用start-dfs.sh的时候，datanode没有启动。
解决hadoop高可用使用start-dfs.sh脚本启动时namenode启动不了的问题
weixin_52918377的博客
05-13 4093
解决hadoop高可用，脚本启动时namenode启动不了的问题 在通过使用hadoop提供的脚本 sbin/start-dfs.sh 启动hdfs时，经常发现高可用的namenode之启动了一个 查看错误日志发现 STARTUP_MSG: Starting NameNode STARTUP_MSG: host = hdp14/192.168.204.14 STARTUP_MSG: args = [] STARTUP_MSG: version = 3.1.4 STARTUP_MSG: cla
安装hadoop2.4.0遇到的问题
weixin_30840253的博客
06-19 278
一、执行start-dfs.sh后，datenode没有启动 　　查看日志如下：　　 2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (Data...
头歌 HBase 开发：批量操作
最新发布
一名敲代码的苦13程序员
06-02 710
头歌 HBase 开发：批量操作 HBase批量操作开发摘要 本文介绍了HBase开发的三个批量操作关卡： 批量获取数据：通过Get操作批量查询step1_student表中数据，解析并返回结果值集合 批量删除数据：使用Delete操作批量删除step2_table表中row1-row5和row7-row10的数据记录 批量导入数据：创建stu表并批量插入基本信息(basic_info)和信息(school_info)两个数据，每个操作都需要先启动Hadoop和HBase服务，并等待20秒初始化完成。
start-dfs.sh脚本分析，从源码分析
长安一片月的博客
05-29 3101
start-dfs.sh脚本分析启动start-dfs.sh  加载config.xml  (hadoop相关配置信息)启动hadoop-daemons.sh(启动slaves和hadoop-daemon.sh)启动hadoop-daemon.sh(根据相关参数，运行)启动hdfs (根据参数，找到对应的class文件进行运行) 举个栗子：启动 namenode① start-dfs.sh② ha...
Hadoop集群start-dfs.sh错误解决方式
热门推荐
秘密的博客
09-18 2万+
解决方式 在你解压的hadoop文件中的sbin文件中 vi进去并编辑start-dfs.sh与stop-dfs.sh HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root vi进去并编辑start-yarn.sh与stop-yarn.sh YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER
Hadoop 的sbin/start-dfs.sh 启动 报错
qq_26430717的博客
11-28 7132
HADOOP 命令sbin/start-dfs.sh 启动 报错 Error: Cannot find configuration directory: /etc/hadoop JAVA_HME is not set and could not be found 配置hadoop-env.sh 文件位置为 hadoop-2.7.1/etc/hadoop。文件路径写你自己的jdk 和hadoop路径。 export JAVA_HOME=/usr/jdk1.8.0_221 export H...
hadoop-3.1.3.tar.gz
12-06
start-dfs.sh start-yarn.sh ``` 七、验证Hadoop安装 启动成功后，可以通过访问http://localhost:50070查看NameNode的状态，http://localhost:8088查看ResourceManager的状态。同时，可以使用Hadoop命令行工具进行...
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
12-17
5. **启动Hadoop服务**：通过`sbin`目录下的脚本启动Hadoop的各个服务，如`start-dfs.sh`启动HDFS，`start-yarn.sh`启动YARN。 6. **Hadoop命令**：现在可以通过`hadoop fs`或`hadoop dfs`命令与HDFS交互，进行文件...
hadoop-3.2.2.tar.gz
09-27
8. **启动与使用**：启动Hadoop服务，如`start-dfs.sh`和`start-yarn.sh`，然后可以使用Hadoop的命令行工具（如hadoop fs、hadoop jar等）或Hadoop API进行数据处理。 9. **优化与监控**：根据实际需求和资源状况对...
start-dfs.sh 和 start-all.sh的区别
weixin_30487317的博客
09-21 989
　　start-dfs.sh 只启动namenode 和datanode, start-all.sh还包括yarn的resourcemanager 和nodemanager 之前就所以因为只启动了start-dfs.sh，导致wordcount的那个例子没跑成功。 下回记得一定要启动 start-all.sh 啊！ 转载于:https://www.cnblogs.com/wmxl/p...
start-dfs.sh和start-all.sh的区别
jiedaodezhuti的博客
03-10 1968
start-dfs.sh 只启动namenode 和datanode start-yarn.sh 只启动resourcemanager 和nodemanager start-all.sh 启动namenode 和datanode和yarn的resourcemanager 和nodemanager
-bash: start-dfs.sh: command not found
amine520的博客
10-26 2万+
启动hdfs的时候报：-bash: start-dfs.sh: command not found 主要原因是start-dfs.sh的命令在hadoop安装目录的sbin目录下，如果在etc/profile里面只配置了HADOOP_HOME/bin的话，那在启动的时候就会报没有找到命令的错误了，所以，在HADOOP_HOME/bin后面再加上:HADOOP_HOME/sbin就可以了。 ...
执行start-dfs.sh namenode无法启动?
qq_41495340的博客
11-06 2339
今天在做hadoop实验的时候，eclipse显示连接不上hadoop了文件都显示不出 发现JPS一下namenode没有启动 其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失 于是我们得重新配置一个tmp文件目录 首先在home目录下建立一个hadoop_tmp目录 mkdir hadoop_tmp 然后修改hadoop/etc...
Hadoop 1.x启动服务的顺序学习
温润如风的博客
01-14 1166
在启动hadoop的时候，使用start-all.sh   shell命令来启动hadoop，那么具体的内部执行流程是怎么样的，有图有真相 接下来我们看下hadoop默认的配置文件的内容 要是有耐心，继续 接着看下hadoop-env.sh 脚本的执行过程 接着会启动dfs 执行start-fds.sh start-dfs.sh可以单独运行，也可
执行start-dfs.sh后，datenode没有启动的解决办法
诗和远方，代码和你
06-18 1万+
执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的clusterID 保持不变导致的。 解决方案（一）： 在hdfs-site.xml文件下找到这两个文......
start-dfs脚本启动NameNode过程
weixin_43349257的博客
08-10 1683
脚本NameNode启动过程
Hadoop[01]启动DFS文件系统（Hadoop1.0）
Toozky的博客
05-10 1524
Hadoop[01]启动DFS文件系统（Hadoop1.0） 准备环境 准备多台虚拟机，并安装JDK环境 详见链接： 云服务器/本地虚拟机(Linux)安装JDK教程 编号 主机名 主机域名 ip地址 ① Toozky Toozky 192.168.64.220 ② Toozky2 Toozky2 192.168.64.221 ③ Toozky3 Toozky3 192.168.64.222 设置ssh免密连接 详见链接： Linux虚拟机ssh免密连接 虚拟机① 将hadoo
Ubuntu搭建全分布式Hadoop
m0_56363537的博客
09-13 1562
Ubuntu搭建全分布式Hadoop配置ssh免密登录配置Java、hadoop环境配置hadoop文件配置hadoop-env.sh配置yarm-env.sh配置core-site.xml配置hdfs-site.xml配置yarm-site.xml配置mapred-site.xml配置workers文件将jdk、Hadoop传输到其他节点启动集群！！！start-dfs.sh启动dfsstart-yarn.sh启动yarn 采用三台节点搭建全分布式 主机名 IP地址 master 192.
Hadoop启动start-dfs.sh显示未找到命令
03-16
<think>嗯，用户遇到了启动Hadoop时执行start-dfs.sh提示未找到命令的问题。我需要根据常见原因来思考可能的情况。首先，用户可能没有将Hadoop的可执行文件目录添加到环境变量中。Hadoop的sbin目录通常存放这些脚本，比如start-dfs.sh和stop-dfs.sh。如果用户没有配置PATH变量，或者配置不正确，系统就无法找到这些命令。 接下来，用户可能没有正确安装Hadoop。也许安装过程中出现了错误，或者文件路径被移动了。需要确认Hadoop的安装目录是否存在，并且sbin目录下有这些脚本文件。 另外，权限问题也可能导致这个问题。虽然“未找到命令”通常与路径有关，但如果用户没有执行权限，可能会有不同的提示。不过，这里的情况是命令未找到，所以权限可能不是主要原因，但检查一下也无妨。 还有可能是用户在错误的目录下执行命令。如果用户没有在Hadoop的sbin目录下，或者没有使用绝对路径或正确配置的环境变量，就会找不到命令。这时候需要使用绝对路径来执行，比如/path/to/hadoop/sbin/start-dfs.sh，或者切换到sbin目录下执行。 解决方案方面，首先应该检查Hadoop的安装路径是否正确，确认sbin目录是否存在所需的脚本。然后，查看环境变量PATH是否包含该目录。用户可以通过echo $PATH来检查，或者直接执行$HADOOP_HOME/sbin/start-dfs.sh来测试。如果环境变量未配置，需要将export PATH=$PATH:$HADOOP_HOME/sbin添加到bashrc或profile文件中，并source使其生效。 如果用户没有正确设置HADOOP_HOME环境变量，也可能导致问题。需要确认HADOOP_HOME是否指向正确的Hadoop安装目录。此外，用户可能使用了相对路径，或者安装过程中某些文件缺失，需要重新安装Hadoop。 最后，建议用户在执行命令时使用绝对路径测试，或者检查脚本是否存在，使用ls命令查看sbin目录下的文件列表。如果问题依旧，可能需要重新安装Hadoop或者检查安装步骤是否正确。</think>当执行`start-dfs.sh`出现`未找到命令`错误时，通常由以下原因及解决方法： --- ### 一、根本原因分析 1. **环境变量未配置** Hadoop的`sbin`目录未添加到`PATH`环境变量中，系统无法识别`start-dfs.sh`等脚本命令。 2. **Hadoop安装路径错误** Hadoop未正确安装，或安装目录被移动/删除。 3. **权限问题** 脚本文件缺少可执行权限（但此情况通常提示`Permission denied`而非`未找到命令`）。 --- ### 二、逐步解决方案 #### 步骤 1：验证Hadoop安装路径 确认Hadoop的安装目录存在且包含`sbin`子目录： ```bash ls /path/to/hadoop/sbin/start-dfs.sh # 替换为你的Hadoop实际路径 ``` 若文件不存在，需重新安装Hadoop或修复安装路径。 --- #### 步骤 2：配置环境变量 1. 编辑用户环境配置文件（如`~/.bashrc`或`~/.bash_profile`）： ```bash vim ~/.bashrc ``` 2. **添加以下内容**（替换`/path/to/hadoop`为实际路径）： ```bash export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 3. 使配置生效： ```bash source ~/.bashrc ``` --- #### 步骤 3：直接使用绝对路径启动 临时测试脚本是否可执行： ```bash /path/to/hadoop/sbin/start-dfs.sh # 替换为你的实际路径 ``` 若成功启动，则验证了环境变量配置问题。 --- #### 步骤 4：检查脚本权限 确保脚本具有可执行权限： ```bash chmod +x /path/to/hadoop/sbin/*.sh ``` --- ### 三、验证操作 1. 检查环境变量是否生效： ```bash echo $HADOOP_HOME ``` 2. 检查命令是否可识别： ```bash which start-dfs.sh ``` 正常应返回类似：`/path/to/hadoop/sbin/start-dfs.sh` --- ### 四、补充说明 - 如果使用Hadoop 3.x及以上版本，需确保已初始化NameNode： ```bash hdfs namenode -format ``` - 若问题持续，建议检查Hadoop日志文件（`$HADOOP_HOME/logs/`）排查更深层错误。 --- 通过以上步骤，可系统性定位并解决`start-dfs.sh`命令未找到的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值