Hadoop 2.2.0启动脚本——sbin/start-dfs.sh

最新推荐文章于 2024-10-23 13:08:28 发布

weixin_30678821

最新推荐文章于 2024-10-23 13:08:28 发布

阅读量270

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/hujunfei/p/3617964.html

本文详细介绍了Hadoop集群启动过程中的关键步骤，包括通过不同的参数选项来启动NameNode、DataNode以及Secondary NameNode等组件的方法。同时，文章还提到了在特定配置下如何进行安全模式的启动。

1. 执行hdfs-config.sh

2. 如果参数个数超过1，读取第一个参数。

-upgrade则继续，即dataStartOpt=""，nameStartOpt="$@"；

-rollback，则dataStartOpt="-rollback"，nameStartOpt="-rollback $@"

3. 执行bin/hdfs getconf -namenodes获取NAMENODES

执行sbin/hadoop-daemons.sh" --config "$HADOOP_CONF_DIR" --hostnames "$NAMENODES" --script "$bin/hdfs" start namenode $nameStartOpt

5. 如果设置HADOOP_SECURE_DN_USER，则需要运行start-secure-dns.sh as root；

如果未设置，则sbin/hadoop-daemons.sh" --config "$HADOOP_CONF_DIR" --script "$bin/hdfs" start datanode $dataStartOpt

6. 执行bin/hdfs getconf -secondarynamenodes获取SECONDARY_NAMENODES，

同NAMENODES

7. SHARED_EDITS_DIR，TODO...

8. AUTOHA_ENABLED，TODO...

转载于:https://www.cnblogs.com/hujunfei/p/3617964.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30678821

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

./sbin/start-dfs.sh 开启NameNode 和 DataNode 守护进程报错

ArtemisKhryso的博客

04-26

6989

报错信息1： hadoop@artemis-virtual-machine:/usr/local/hadoop$ ./sbin/start-dfs.sh WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER. Starting namenodes on [localhost] WARNING: HADOOP_SECURE_DN_US

解决hadoop高可用使用start-dfs.sh脚本启动时namenode启动不了的问题

weixin_52918377的博客

05-13

4100

解决hadoop高可用，脚本启动时namenode启动不了的问题在通过使用hadoop提供的脚本 sbin/start-dfs.sh 启动hdfs时，经常发现高可用的namenode之启动了一个查看错误日志发现 STARTUP_MSG: Starting NameNode STARTUP_MSG: host = hdp14/192.168.204.14 STARTUP_MSG: args = [] STARTUP_MSG: version = 3.1.4 STARTUP_MSG: cla

参与评论您还未登录，请先登录后发表或查看评论

搭建虚拟机hadoop时，输入./sbin/start-dfs.sh启动hadoop，解决ERROR: Attempting to operate on hdfs namenode

qq_46555632的博客

10-15

5904

启动hadoop时发生如下错误： [root@localhost ~]# cd /usr/local [root@localhost local]# cd hadoop [root@localhost hadoop]# ./sbin/start-dfs.sh Starting namenodes on [localhost] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_

启动Hadoop集群时$ ./sbin/start-dfs.sh，DataNode没有启动

weixin_42114280的博客

05-13

6367

$ jps 3555 SecondaryNameNode 3295 NameNode 3756 Jps 原因：多次格式化namenode导致的namenode与datanode之间的不一致（多次格式化，版本不一致）解决：把Hadoop下的log和tmp文件夹删掉、Hadoopdata里面文件删除（没有Hadoopdata文件，则将Hadoop下的dfs下的data里面文件删掉） ...

Hadoop 的sbin/start-dfs.sh 启动报错

qq_26430717的博客

11-28

7137

HADOOP 命令sbin/start-dfs.sh 启动报错 Error: Cannot find configuration directory: /etc/hadoop JAVA_HME is not set and could not be found 配置hadoop-env.sh 文件位置为 hadoop-2.7.1/etc/hadoop。文件路径写你自己的jdk 和hadoop路径。 export JAVA_HOME=/usr/jdk1.8.0_221 export H...

输入命令./sbin/start-dfs.sh时，出现报错：ERROR: Cannot set priority of datanode process的解决办法

qq_73485925的博客

10-23

2941

可以通过修改hadoop文件夹下文件的权限来解决ERROR: Cannot set priority of datanode process的报错。不仅问了chat还浏览了很多csdn上的网页都没有解决，最后找到一个。希望对迷茫的友友有帮助，爱你们。

hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop2.2需要的winutils.exe)

01-08

5. 启动Hadoop服务，如`start-dfs.sh`和`start-yarn.sh`。了解和熟练掌握Hadoop Common以及`winutils.exe`的使用，对于在Windows环境中开发、测试和部署Hadoop应用至关重要。同时，理解Hadoop的架构和原理，以及...

Spark 集群安装

程序员学习圈

01-06

443

1.机器准备准备三台Linux服务器，安装好JDK1.8。 2.下载Spark安装包上传解压安装包：spark-2.1.1-bin-hadoop2.7.tgz 安装包到Linux上解压安装包到指定位置：tar -zxvf /opt/software/spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/ 3.配...

hdfs的balancer功能、hadoop增删节点小试

lda_ming的专栏

03-16

978

版本：hadoop2.2.0 近期发现，试验环境2个datanode节点，往hdfs put数据，无数据备份情况下每次都只往节点1写数据，于是想自己动手平衡一下数据。操作：在hadoop sbin目录下的脚本start-balancer.sh，调整平衡的范围执行脚本 ./start-balance.sh -threshold 5 以上命令的意思是先统计hdfs利用率，比如node1

Hadoop_HBase.x64 位分布式安装指南

远方的城的博客

08-07

504

Hadoop2.x64 位分布式安装指南作者：leeHadoop2.X64 位伪分布式安装指南（ Ubuntu）1 环境说明集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下： Hostname IP User ...

二、执行sbin/start-dfs.sh后，datenode没有启动

花言简

04-28

4614

可能hadoop没有正常关闭，然后电脑虚拟机挂起了，重新启动时，发现datanode没有启动；查看datanode的日志：报错说，namenode clusterID和datanode clusterID不相容。主节点和从节点（个人只安装了一个从节点）的hadoop安装目录下，$ vim etc/hadoop/hdfs-site.xml查看namenode和datanode的目录：主节点和从节点分...

HDFS文件上传与下载

weixin_51551506的博客

11-02

7583

运行后显示如下，此时Desktop/logs/目录下的log文件已经上传到HDFS的/log1目录中。运行后显示如下，此时Desktop/logs/目录下的log文件已经上传到HDFS的/log2目录中。运行后显示如下，在/home/dolphin/Desktop/logs目录下有一个log文件。此时，已经将HDFS的/log1/目录下的文件，下载到本地家目录下。运行后显示如下，发现HDFS的/log1目录下存在刚才上传的文件。运行后显示如下，发现HDFS的/log2目录下存在刚才上传的文件。

CentOS 7.9 系统搭建 Hadoop 集群

花落花开的博客

03-18

4599

安装环境虚拟软件：VMware® Workstation 16 Pro 虚拟机操作系统：CentOS 7.9-Minimal 虚拟机 IP：192.168.153.11、192.168.153.12、192.168.153.13 前期规划 Hadoop 集群包含两个集群：HDFS 集群、YARN 集群，两个集群在逻辑上分离，但通常会共用主机。两个集群都是标准的主从架构集群。 HDFS 集群包含的角色（守护进程）：主角色：NameNode 从角色：DataNode 主角色辅助角色：SecondaryN

Hadoop集群start-dfs.sh错误解决方式

热门推荐

秘密的博客

09-18

2万+

解决方式在你解压的hadoop文件中的sbin文件中 vi进去并编辑start-dfs.sh与stop-dfs.sh HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root vi进去并编辑start-yarn.sh与stop-yarn.sh YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER

Hadoop分布式集群搭建

小刘的博客

10-07

2723

Hadoop分布式集群搭建环境说明： Hadoop分布式集群架构是主从架构，这里要搭建一个3台服务器的集群三台centos7主机，其中一个主节点master，两个从节点服务器slave 用户名都为root，主机名分别为master，slave1，slave2 步骤如下： 1.安装CentOS7 创建虚拟机单击左上角文件→新建虚拟机，创建虚拟机选择指定的Centos7系统镜像文件填写虚拟机信息默认一直下一步即可，之后点击完成系统会自动重启

启动HadoopHDFS

m0_54861649的博客

03-29

3846

在配置了Hadoop之后，要进行启动启动HDFS:第一次执行的时候一定要格式化文件系统，后面不要重复执行在hadoop的bin目录下 $ hdfs namenode -format 说明格式化成功了此时在tmp目录下有了文件了，之前没有的启动集群到sbin目录下 $ ./start-dfs.sh 出现的Warning不用管，然后会有一个让你输入yes/no的过程，输入yes Hadoop刚开始启动的时候是会进入到safemode安全模式的，这个时候HDFS是不能进行写操作的，等很快.

「大数据-2.1」HDFS集群启停命令

look_outs的博客

09-25

1700

一、HDFS集群一键启停脚本 1. HDFS集群的一键启动脚本 2. HDFS集群的一键关闭脚本二、单进程启停 1. hadoop-daemon.sh脚本 2. hdfs脚本

【大数据✨】| 07-虚拟机HDFS的Shell操作

2301_77798916的博客

09-25

468

摘要：Hadoop HDFS提供了便捷的集群管理工具，包括一键启停脚本(start/stop-dfs.sh)和单进程控制命令(hadoop-daemon.sh)。文件系统操作支持基本命令如mkdir、ls、put/get等，可通过hadoop fs或hdfs dfs执行，并支持权限管理(chown/chmod)。HDFS与Linux本地文件系统(file://)不同，使用hdfs://协议，不能直接修改文件，只能追加或删除。还介绍了回收站配置、NFS客户端等内容，方便进行HDFS文件管理。注意操作权限问题，

hadoop-3.1.3启动HDFS时报错ERROR Attempting to operate on hdfs namenode as root的解决方法

emgexgb_sef的博客

04-18

3374

今天在使用hadoop时遇到了下面这个问题，看报错信息是用户问题，于是上网查了下解决方案，找到两种方式，我使用的是方法1，下面将两种方式都列给大家参考。报错场景： hadoop-3.1.3启动HDFS时报错，具体错误信息如下： [root@hadoop10 hadoop-3.1.3]# sbin/start-dfs.sh Starting namenodes on [hadoop10] ERROR: Attempting to operate on hdfs namenode as root ERROR

在使用sbin/start-dfs.sh时用不用启动hadoop