Hadoop start-dfs.sh 的执行流程

最新推荐文章于 2025-06-02 11:06:06 发布
最新推荐文章于 2025-06-02 11:06:06 发布
阅读量4.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zy_remarkable/article/details/81430413
本文详细解析了Hadoop启动流程，从start-dfs.sh到hdfs的每一步骤都进行了详细的解释，包括如何加载配置信息、执行slaves和daemon、调用HDFS执行相关操作，直至最终调用Java底层源代码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【start-dfs.sh】-->【hdfs-config.sh】(说明：加载各种配置信息)

    -->【hadoop-daemons.sh】(说明：执行slaves和daemon)

    -->【hadoop-daemon.sh】(说明：根据command调用HDFS。执行相关操作)

    -->【hdfs】(说明：执行相关操作，加载CLASS文件)

    -->【调用Java底层源代码】(说明：执行相关Class文件的Main函数)

执行start-dfs.sh后，datenode没有启动的最全解决办法（全网最全）
小白的大数据之旅的博客
08-13 1974
在Hadoop中申请一个Flink的Session会话的时候出现了报错报错内容看到说没有找到datanode,然后我就去检查了一下进程，发现确实没有看到datanode，在使用start-dfs.sh的时候，datanode没有启动。
解决hadoop高可用使用start-dfs.sh脚本启动时namenode启动不了的问题
weixin_52918377的博客
05-13 4089
解决hadoop高可用，脚本启动时namenode启动不了的问题 在通过使用hadoop提供的脚本 sbin/start-dfs.sh 启动hdfs时，经常发现高可用的namenode之启动了一个 查看错误日志发现 STARTUP_MSG: Starting NameNode STARTUP_MSG: host = hdp14/192.168.204.14 STARTUP_MSG: args = [] STARTUP_MSG: version = 3.1.4 STARTUP_MSG: cla
安装hadoop2.4.0遇到的问题
weixin_30840253的博客
06-19 278
一、执行start-dfs.sh后，datenode没有启动 　　查看日志如下：　　 2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (Data...
头歌 HBase 开发：批量操作
最新发布
一名敲代码的苦13程序员
06-02 710
头歌 HBase 开发：批量操作 HBase批量操作开发摘要 本文介绍了HBase开发的三个批量操作关卡： 批量获取数据：通过Get操作批量查询step1_student表中数据，解析并返回结果值集合 批量删除数据：使用Delete操作批量删除step2_table表中row1-row5和row7-row10的数据记录 批量导入数据：创建stu表并批量插入基本信息(basic_info)和信息(school_info)两个数据，每个操作都需要先启动Hadoop和HBase服务，并等待20秒初始化完成。
start-dfs.sh脚本分析，从源码分析
长安一片月的博客
05-29 3101
start-dfs.sh脚本分析启动start-dfs.sh  加载config.xml  (hadoop相关配置信息)启动hadoop-daemons.sh(启动slaves和hadoop-daemon.sh)启动hadoop-daemon.sh(根据相关参数，运行)启动hdfs (根据参数，找到对应的class文件进行运行) 举个栗子：启动 namenode① start-dfs.sh② ha...
Hadoop集群start-dfs.sh错误解决方式
热门推荐
秘密的博客
09-18 2万+
解决方式 在你解压的hadoop文件中的sbin文件中 vi进去并编辑start-dfs.sh与stop-dfs.sh HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root vi进去并编辑start-yarn.sh与stop-yarn.sh YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER
Hadoop 的sbin/start-dfs.sh 启动 报错
qq_26430717的博客
11-28 7132
HADOOP 命令sbin/start-dfs.sh 启动 报错 Error: Cannot find configuration directory: /etc/hadoop JAVA_HME is not set and could not be found 配置hadoop-env.sh 文件位置为 hadoop-2.7.1/etc/hadoop。文件路径写你自己的jdk 和hadoop路径。 export JAVA_HOME=/usr/jdk1.8.0_221 export H...
hadoop-3.1.3.tar.gz
12-06
start-dfs.sh start-yarn.sh ``` 七、验证Hadoop安装 启动成功后，可以通过访问http://localhost:50070查看NameNode的状态，http://localhost:8088查看ResourceManager的状态。同时，可以使用Hadoop命令行工具进行...
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
12-17
5. **启动Hadoop服务**：通过`sbin`目录下的脚本启动Hadoop的各个服务，如`start-dfs.sh`启动HDFS，`start-yarn.sh`启动YARN。 6. **Hadoop命令**：现在可以通过`hadoop fs`或`hadoop dfs`命令与HDFS交互，进行文件...
hadoop-3.2.2.tar.gz
09-27
8. **启动与使用**：启动Hadoop服务，如`start-dfs.sh`和`start-yarn.sh`，然后可以使用Hadoop的命令行工具（如hadoop fs、hadoop jar等）或Hadoop API进行数据处理。 9. **优化与监控**：根据实际需求和资源状况对...
start-dfs.sh 和 start-all.sh的区别
weixin_30487317的博客
09-21 989
　　start-dfs.sh 只启动namenode 和datanode, start-all.sh还包括yarn的resourcemanager 和nodemanager 之前就所以因为只启动了start-dfs.sh，导致wordcount的那个例子没跑成功。 下回记得一定要启动 start-all.sh 啊！ 转载于:https://www.cnblogs.com/wmxl/p...
start-dfs.sh和start-all.sh的区别
jiedaodezhuti的博客
03-10 1968
start-dfs.sh 只启动namenode 和datanode start-yarn.sh 只启动resourcemanager 和nodemanager start-all.sh 启动namenode 和datanode和yarn的resourcemanager 和nodemanager
-bash: start-dfs.sh: command not found
amine520的博客
10-26 2万+
启动hdfs的时候报：-bash: start-dfs.sh: command not found 主要原因是start-dfs.sh的命令在hadoop安装目录的sbin目录下，如果在etc/profile里面只配置了HADOOP_HOME/bin的话，那在启动的时候就会报没有找到命令的错误了，所以，在HADOOP_HOME/bin后面再加上:HADOOP_HOME/sbin就可以了。 ...
执行start-dfs.sh namenode无法启动?
qq_41495340的博客
11-06 2339
今天在做hadoop实验的时候，eclipse显示连接不上hadoop了文件都显示不出 发现JPS一下namenode没有启动 其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失 于是我们得重新配置一个tmp文件目录 首先在home目录下建立一个hadoop_tmp目录 mkdir hadoop_tmp 然后修改hadoop/etc...
Hadoop 1.x启动服务的顺序学习
温润如风的博客
01-14 1166
在启动hadoop的时候，使用start-all.sh   shell命令来启动hadoop，那么具体的内部执行流程是怎么样的，有图有真相 接下来我们看下hadoop默认的配置文件的内容 要是有耐心，继续 接着看下hadoop-env.sh 脚本的执行过程 接着会启动dfs 执行start-fds.sh start-dfs.sh可以单独运行，也可
执行start-dfs.sh后，datenode没有启动的解决办法
诗和远方，代码和你
06-18 1万+
执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的clusterID 保持不变导致的。 解决方案（一）： 在hdfs-site.xml文件下找到这两个文......
start-dfs脚本启动NameNode过程
weixin_43349257的博客
08-10 1683
脚本NameNode启动过程
Hadoop[01]启动DFS文件系统（Hadoop1.0）
Toozky的博客
05-10 1524
Hadoop[01]启动DFS文件系统（Hadoop1.0） 准备环境 准备多台虚拟机，并安装JDK环境 详见链接： 云服务器/本地虚拟机(Linux)安装JDK教程 编号 主机名 主机域名 ip地址 ① Toozky Toozky 192.168.64.220 ② Toozky2 Toozky2 192.168.64.221 ③ Toozky3 Toozky3 192.168.64.222 设置ssh免密连接 详见链接： Linux虚拟机ssh免密连接 虚拟机① 将hadoo
Hadoop安装
weixin_47465994的博客
06-15 847
1.安装vmware 2.新建虚拟机 3.安装Linux4.初步配置 5.克隆 6.完善配置 下载iso镜像文件 CentOS-6.5-x86_64-minimal 。下载VMware，安装过程中客户机操作系统选择linux，网络连接选“使用网络地址转换”，默认下一步。使用iso镜像文件中选择下载的镜像文件。Hostname是创建的主机名，地址选shanghai。下一步创建用户名和密码，下一步选择create Custom Layout，下一步开始配置虚拟机内存。配置过程略。 下一步设置IP，编辑虚拟网
Hadoop启动start-dfs.sh显示未找到命令
03-16
嗯，用户遇到了启动Hadoop时执行start-dfs.sh提示未找到命令的问题。我需要根据常见原因来思考可能的情况。首先，用户可能没有将Hadoop的可执行文件目录添加到环境变量中。Hadoop的sbin目录通常存放这些脚本，比如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值