hadoop集群-zk的leader上执行bin/hdfs zkfc –formatZK错误

最新推荐文章于 2023-06-26 14:06:18 发布
最新推荐文章于 2023-06-26 14:06:18 发布
阅读量4.7k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/webnum/article/details/81044056
本文介绍了解决Hadoop集群中使用hdfszkfc命令格式化Zookeeper时遇到的一个常见错误。该错误源自命令输入不正确，通过手动重新输入命令解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前提：hadoop集群安装

在zk的leader上执行 ：bin/hdfs zkfc –formatZK。出现错误：

解决办法：手动敲击上命令。bin/hdfs zkfc -formatZK （可能的问题是复制的空格或者 - 不一样）


错误的内容：

18/07/14 23:14:40 INFO zookeeper.ZooKeeper: Session: 0x264993282950000 closed
18/07/14 23:14:40 WARN ha.ActiveStandbyElector: Ignoring stale result from old client with sessionId 0x264993282950000
18/07/14 23:14:40 INFO zookeeper.ClientCnxn: EventThread shut down
18/07/14 23:14:40 FATAL tools.DFSZKFailoverController: Got a fatal error, exiting now
org.apache.hadoop.HadoopIllegalArgumentException: Bad argument: –formatZK
        at org.apache.hadoop.ha.ZKFailoverController.badArg(ZKFailoverController.java:251)
        at org.apache.hadoop.ha.ZKFailoverController.doRun(ZKFailoverController.java:214)
        at org.apache.hadoop.ha.ZKFailoverController.access$000(ZKFailoverController.java:61)
        at org.apache.hadoop.ha.ZKFailoverController$1.run(ZKFailoverController.java:172)
        at org.apache.hadoop.ha.ZKFailoverController$1.run(ZKFailoverController.java:168)
        at org.apache.hadoop.security.SecurityUtil.doAsLoginUserOrFatal(SecurityUtil.java:415)
        at org.apache.hadoop.ha.ZKFailoverController.run(ZKFailoverController.java:168)

        at org.apache.hadoop.hdfs.tools.DFSZKFailoverController.main(DFSZKFailoverController.java:181)



HDFS ZKFC自动切换原理分析
走在前往架构师的路上
11-13 1万+
前言Hadoop社区在HDFS-1623（High Availability Framework for HDFS NN）以及相关JIRA中对NameNode增加了高可用性的支持。但是它的实现需要依赖管理员手动切换NameNode，以此来触发NameNode的切换。这种操作方式有时会带来一些问题，比如说一个NameNode因为非主观原因导致异常，挂了，这个时候怎么办，这个时候我们可能更需要自动切换的
HDFS和YARN的HA集群搭建（Hadoop-2.8.1+Zookeeper-3.4.6）
muyingmiao的专栏
08-20 882
一.软件版本 组件名称 版本 备注即下载地址 Centos 7.2 (Final) 64-bit lsb_release -a 命令查看操作系统版本 file /bin/ls 命令查看操作系统位数 JRE "1.8.0_45" http://www.360sdn.com/Linux/2014/0610/3568.html Hadoop ...
Hadoop完全分布式HA配置hdfs zkfc -formatZK错误
u012240857的博客
05-08 6733
Hadoop完全分布式HA配置hdfs zkfc -formatZK错误 16/05/08 21:01:40 INFO zookeeper.ClientCnxn: Unable to read additional data from server sessionid 0x0, likely server has closed socket, closing socket connection and attempting reconnect
hdfs zkfc –formatZK 之HadoopIllegalArgumentException: Bad argument: –formatZK
diandanpao7184的博客
02-15 433
HadoopIllegalArgumentException: Bad argument: –formatZK从某文档中拷贝的命令，粘贴过来使用的，“–formatZK”有问题解决方法：手工输入此命令：hdfs zkfc -formatZK 成功解决。 转载于:https://www.cnblogs.com/yousen/p/5191075.html...
zookeeper-3.4.6格式化问题 hdfs zkfc -formatZk报错
qq_23280769的专栏
08-20 1万+
感谢朋友的提醒：错误在配置hdfs-site.xml文件
hdfs zkfc -formatZK 报错 Does not contain a valid host:port authority: master
cyb2473541293的博客
12-19 639
hdfs zkfc -formatZK 报错 hdfs zkfc -formatZK Exception in thread “main” java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master [root@master hadoop]# hdfs zkfc -formatZK Exception in thread "main" java.lang.IllegalArgumentEx
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
wudidahuanggua的博客
09-17 4026
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
5节点Hadoop-2.6.0-cdh5.14.2 HA集群搭建详细步骤
weixin_43230682的博客
08-11 1614
目录 一、集群规划 二、五节点Hadoop HA搭建 1. 虚拟机环境准备 2. 安装ZooKeeper集群 3. 五节点Hadoop HA搭建 3.1 解压hadoop压缩包 3.2 修改hadoop-env.sh 3.3 修改core-site.xml 3.4 修改hdfs-site.xml 3.5 修改mapred-site.xml 3.6 修改yarn-site.xml 3.7 修改slaves 3.8 远程拷贝hadoop文件夹 3.9 修改两个RM的yarn-site
hadoop大数据集群完全分布式部署实操篇：HDFS2.9.2、HBASE2.2.6、YARN2.9.2、SPARK2.4.7，ZOOKEEPER3.6.2
学亮编程手记
12-15 408
推荐以rpm方式安装jdk，有些软件比如cm只认/usr/java/default目录 配置/etc/hosts文件 配置ssh免密登录 配置时间同步 HDFS安装 单机伪分布式安装 ssh远程登录找不到$JAVA_HOME环境变量，所以要写成绝对路径 [root@cm-m0 home]# ll 总用量 745248 drwxr-xr-x 3 root root 4096 12月 2 11:15 cm-install -rwxr-xr-x 1 root root 366447449.
Hadoop2初始安装时，执行hdfs zkfc -formatZK日志
11-07 5054
[biadmin@1 Crate]$ hdfs zkfc -formatZK 16/11/07 12:05:21 INFO tools.DFSZKFailoverController: Failover controller configured for NameNode NameNode at 1.hadoop.com/10.1.48.48:8020 16/11/07 12:05:21 INF
hdfs所有nameNode都是standby，zkfc 进程锁启动不了。
Jason不在家的博客
11-09 2370
之前因为hbase的问题把zookeeper文件夹下的数据文件给删掉了 后来HDFS就就出现竞争锁启动不了，nameNode没有主节点的问题， 后来通过重新格式化HDFS的zkfc就好了，不知道为啥，估计是因为有数据信息存在zookeeper里 hdfs zkfc -formatZK
HDFS-HA的配置-----自动Failover（ZKFC）
小小八卦姐的专栏
11-03 7223
转载于http://blog.youkuaiyun.com/chenpingbupt  http://www.wuzesheng.com/?p=2475 1、概述     在手动FailOver的基础上，自动Failover增加了两个东西：一个是ZooKeeper集群，一个是ZKFailoverController(简称：ZKFC) ZK集群： 作为一个高可靠系统，能够为一小部分
ZKFC报错：ZK Failover Controller failed: Received stat error from Zookeeper. code:CONNECTIONLOSS
u010410697的博客
07-06 1876
Namenode HA模式下，一个节点掉了，另外的节点不能正常被切换成Active，看zkfc的日志发现出现zookeeper连接超时的异常。 2020-07-04 10:32:06,356 INFO org.apache.zookeeper.ClientCnxn: Unable to read additional data from server sessionid 0x1019acb4933001f, likely server has closed socket, closing socket co
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
热门推荐
想你依然心痛的博客
06-26 5万+
修改start-yarn.sh和stop-yarn.sh。修改start-dfs.sh和stop-dfs.sh。使用root账号启动服务，但没预先定义。修改后重新启动Hadoop就成功了！欢迎start，欢迎评论，欢迎指正。
HDFS HA搭建 （ZKFC自动故障转移）
破晓的成长之路
09-26 1164
基本集群搭建见这篇博客：hadoop集群搭建笔记 HA搭建配置： hdfs-site.xml <configuration> <!-- set the replication of file, needed base on number of datanode --> <property> <name>dfs.replication</...
hadoop ha zkfc 异常自动切换机制和hdfs 没有空间问题解决
weixin_30765505的博客
04-28 331
在我搭建hadoop ha 后，我启动了各个功能，但是发现hadoop hdfs 没法使用，在web 页面也显示hdfs 可用空间为零，并且自动备份机制无法使用，本人也不理解，然后就是指定hdfs tmp 目录删除了，重新hadoop namenode -format 后完成所有步骤，发现hdfs 可用了，zkfc 也能够启动了 这个原因可能是因为hdfs 无法使...
Hadoop
leader321的博客
12-02 901
HDFSHadoop环境搭建HDFS架构原理HDFS基本文件操作命令 Hadoop环境搭建 HDFS架构原理 HDFS基本文件操作命令
【HDFS篇】基于HA的hadoop集群分析及搭建（ZK+zkfc）
chenshi_2753的博客
01-29 4017
简介: Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题 NameNode单点故障，难以应用于在线场景 HA NameNode压力过大，且内存受限，影扩展性 F MapReduce存在的问题响系统 JobTracker访问压力大，影响系统扩展性 难以支持除MapReduce之外的计算框架，比如Spark、Storm HD
Hadoop-HDFS HA集群搭建（zookeeper）
weixin_46662378的博客
06-15 977
hadoop-hdfs ha模式搭建
[hadoop@hadoop01 hadoop]$ zkServer.sh start JMX enabled by default Using config: /training/zookeeper-3.4.5/bin/../conf/zoo.cfg Starting zookeeper ... STARTED [hadoop@hadoop01 hadoop]$ jps 62339 Jps 40085 SecondaryNameNode 123048 ResourceManager 39467 NameNode
最新发布
03-16
<think>好的，我现在需要分析用户提供的命令行操作及其输出，帮助用户理解发生了什么。首先，用户执行了zkServer.sh start来启动ZooKeeper服务，然后使用jps检查Java进程。 首先，我得确认每个命令的作用。zkServer.sh是ZooKeeper的启动脚本，start参数表示启动服务。输出显示JMX已启用，这可能是指Java管理扩展默认开启了。接着，配置文件路径指向了zoo.cfg，说明ZooKeeper使用了这个配置文件。然后提示ZooKeeper正在启动，状态为STARTED，看起来启动成功了。 接下来用户运行了jps，这个命令用来列出当前用户的Java进程。输出中有四个进程：Jps本身、SecondaryNameNode、ResourceManager、NameNode，但没有看到ZooKeeper的进程（通常应该是QuorumPeerMain）。这可能意味着ZooKeeper没有成功启动，或者启动后很快退出了，所以jps没有捕捉到。 需要分析可能的问题点。ZooKeeper的启动日志可能有更多信息，用户应该检查zookeeper.out或者logs目录下的日志文件，查找错误信息。另外，确认ZooKeeper的配置是否正确，比如数据目录是否存在，端口是否被占用，集群配置是否正确（如果是单机模式的话是否正确设置）。还有可能是内存不足导致进程崩溃，或者ZooKeeper服务启动需要更长时间，jps执行得太快，没来得及显示。 同时，用户的环境中有Hadoop的进程运行（NameNode、SecondaryNameNode、ResourceManager），这说明Hadoop已经启动，但ZooKeeper可能作为独立服务运行，或者是Hadoop高可用的一部分。需要确认用户是否在配置Hadoop HA，这时候ZooKeeper是必需的，如果ZooKeeper没有运行，Hadoop HA可能会出现问题。 总结下来，用户的问题可能在于ZooKeeper未能正确启动，需要进一步检查日志和配置。同时，确保所有依赖的服务都正常运行，特别是如果Hadoop集群依赖于ZooKeeper的话。</think>让我们逐步分析您执行的命令和输出结果： 1. **启动ZooKeeper服务**： ```bash [hadoop@hadoop01 hadoop]$ zkServer.sh start ``` - `zkServer.sh` 是ZooKeeper的服务控制脚本 - `start` 参数表示启动服务 - 输出信息解析： ``` JMX enabled by default # 默认启用了Java管理扩展(JMX)监控 Using config: /training/zookeeper-3.4.5/bin/../conf/zoo.cfg # 使用的配置文件路径 Starting zookeeper ... STARTED # 服务启动状态显示为已启动 ``` 2. **查看Java进程**： ```bash [hadoop@hadoop01 hadoop]$ jps 62339 Jps 40085 SecondaryNameNode 123048 ResourceManager 39467 NameNode ``` - 当前可见的Hadoop相关进程： - `NameNode`：HDFS的主节点 - `SecondaryNameNode`：HDFS的辅助节点 - `ResourceManager`：YARN资源管理器 - **异常现象**：未出现`QuorumPeerMain`进程（ZooKeeper的Java进程名） --- **问题诊断与解决方案**： 1. **ZooKeeper未成功启动的可能原因**： - **日志检查**：查看ZooKeeper日志文件 ```bash tail -n 100 /training/zookeeper-3.4.5/logs/zookeeper.out ``` - **配置文件验证**：检查`zoo.cfg`配置 ```properties dataDir=/path/to/data # 确认数据目录存在且可写 clientPort=2181 # 检查端口占用情况 server.1=host:port:port # 集群配置（单机模式可不配置） ``` - **文件系统权限**：确保hadoop用户有权限访问ZooKeeper目录 ```bash chown -R hadoop:hadoop /training/zookeeper-3.4.5 ``` 2. **Hadoop组件状态分析**： - 已启动的核心组件： ```mermaid graph LR A[HDFS] --> B[NameNode] A --> C[SecondaryNameNode] D[YARN] --> E[ResourceManager] ``` - **缺失组件**：未显示`DataNode`和`NodeManager`，可能需要检查： ```bash start-dfs.sh # 启动HDFS start-yarn.sh # 启动YARN ``` --- **操作建议**： 1. **验证ZooKeeper状态**： ```bash zkServer.sh status ``` 预期成功输出： ``` Mode: standalone # 单机模式 或 Mode: leader/follower # 集群模式 ``` 2. **完整启动Hadoop集群的典型流程**： ```bash # 1. 启动ZooKeeper（HA环境需要） zkServer.sh start # 2. 启动HDFS start-dfs.sh # 3. 启动YARN start-yarn.sh # 4. 验证所有服务 jps ``` 正常应包含： ``` NameNode DataNode SecondaryNameNode ResourceManager NodeManager QuorumPeerMain # ZooKeeper进程 ``` 3. **端口占用检查**（如果ZooKeeper启动失败）： ```bash netstat -tlnp | grep 2181 # ZooKeeper默认端口 lsof -i :2181 ``` 通过以上步骤，可以系统地排查和解决ZooKeeper服务启动异常的问题，并确保Hadoop生态组件的正常运行。建议优先检查ZooKeeper日志获取具体错误信息。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值