CDH上HDFS配置HA后ZooKeeper无法访问hadoop-ha

HDFS NameNode HA与Zookeeper认证问题及解决

原创已于 2024-05-13 11:02:48 修改 · 491 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#zookeeper #hadoop

于 2021-06-07 17:00:01 首次发布

大数据技术专栏收录该内容

6 篇文章

订阅专栏

在配置了NameNode HA的HDFS环境中，通过Zookeeper客户端访问时遇到权限验证错误。错误信息提示Authentication is not valid。解决方法是获取用于Zookeeper认证的digest信息，例如在CDH环境中，该信息通常存储在 `/var/run/cloudera-scm-agent/process` 目录下的某个FAILOVERCONTROLLER进程目录的core-site.xml文件中。找到ha.zookeeper.auth配置，如 `addauth digest hdfs-fcs:m6cpa17YGWG8Z1bH2djni7nRhIRyDo`，然后使用该信息进行认证，以便正确访问Zookeeper的ActiveStandbyElectorLock节点。

当HDFS配置了NameNode HA后，通过zookeeper-client访问ZooKeeper的/hadoop-ha/nameservice1/ActiveStandbyElectorLock会报错。

报错信息：

[root@ctkf01 ~]# zookeeper-client
[zk: localhost:2181(CONNECTED) 3] ls /hadoop-ha/nameservice1/ActiveStandbyElectorLock
Authentication is not valid : /hadoop-ha/nameservice1/ActiveStandbyElectorLock

这个时候，需要先进行认证。
digest是zookeeper中用户名、密码的验证方式，此时需要想办法获知hdfs-fcs的密码。

如果使用的是CDH，则可以在以下目录找到密码。

cd /var/run/cloudera-scm-agent/process
ls -d *FAILOVERCONTROLLER

随便进入其中一个目录，在core-site.xml文件中查找ha.zookeeper.auth：

addauth digest hdfs-fcs:m6cpa17YGWG8Z1bH2djni7nRhIRyDo
get /hadoop-ha/nameservice1/ActiveStandbyElectorLock

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九万里大数据

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

踩坑记录（六）zookeeper 连接不上客户端

weixin_43145539的博客

06-14

1072

之前学了zookeeper，最近想复习一，一路搞下来发现客户端怎么也连不上去，搞了很久也不知道怎么回事。我首先检查了配置文件，完全没有问题后面我检查了端口，是否是打开的，也没有问题，我用的是阿里云的服务器，去阿里云客户端查看是否有打开出入口，也都是打开的，防火墙什么的我也都一个个看了但是就是不行。后面我给配置文件的端口换成我之前在阿里云打开的端口，发现就好了，贼离谱 ...

ZooKeeper+Hadoop的ResourceManager HA集群高可用配置

u014182745的专栏

10-29

2723

1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）/etc/hosts里面要配置的是内网IP地址和主机名的映射关系 4.关闭防火墙 5.ssh免登陆 6.安装JDK，配置环境变量等集群规划：主机名 IP 安装的软件运行的进程 service1 192.168

1 条评论您还未登录，请先登录后发表或查看评论

【zookeeper】问题解决 Authentication is not valid : /hbase/tokenauth

Mrerlou的博客

08-02

5126

最近在搭建Hbase服务时，服务无法启动，于是决定将hbase服务删除，在当删除zookeeper的/hbase节点时报错，报。看到网上大部分的文章都是使用跳过ACL或者开启super模式这两种方式，于是比较好奇有没有第三种解，这里整理并记录一下。SASL身份验证方案与某些其他方案的不同之处在于，如果方案是sasl，则命令无效。这是因为身份验证是在连接后立即使用启用SASL的令牌交换执行的，而不是像addauth那样在连接后的任何时间发生。相关链接httphttps。...

zookeeper 启动正常无法进入客户端

laimao8079的博客

04-11

3071

./zkServer.sh status 显示正常进入客户端，./zkCli.sh -server localhost：2181 无法进入客户端，仔细查看，红色的是什么鬼，里面检查hosts localhost也是正常的，不明觉厉，不知道那错了，就一顿各种搜各种试，感谢这位博主的分享 https://blog.youkuaiyun.com/qq_32447321/article/deta...

hadoop的HA机制+zookeeper

weixin_30553065的博客

05-08

187

关于hadoop的HA配置以及wordcount测试一，简单环境配置 1，查看centos版本位数： $>getconf LONG_BIT, 2，桌面模式和文本模式之间进行切换： 1），在终端命令行进行设置时只能暂时改变模式， $>init 3 表示切换到文本模式 $>init 5 表示切换到桌面模式 2），永久改变模式需要修改...

hadoop-2.6.0-cdh5.7.0.tar.gz

05-04

1. **Hadoop Distributed File System (HDFS)**：HDFS是Hadoop的核心组件之一，提供高吞吐量的数据访问。在Hadoop集群中，数据被分块存储在各个节点上，确保数据的冗余和容错性。 2. **MapReduce**：MapReduce是...

hadoop-2.6.0-cdh5.7.0版本.zip

03-25

6. **Hadoop安装与配置**: 安装Hadoop-2.6.0-cdh5.7.0版本需要配置集群环境，包括设置环境变量、配置集群节点间通信、初始化HDFS和YARN等。同时，还需要考虑安全性、监控和性能优化等方面。 7. **Hadoop应用开发**:...

HDFS和YARN的HA集群搭建（Hadoop-2.8.1+Zookeeper-3.4.6）

muyingmiao的专栏

08-20

907

一.软件版本组件名称版本备注即下载地址 Centos 7.2 (Final) 64-bit lsb_release -a 命令查看操作系统版本 file /bin/ls 命令查看操作系统位数 JRE "1.8.0_45" http://www.360sdn.com/Linux/2014/0610/3568.html Hadoop ...

zookeeper-3.4.5-cdh5.16.2.tar.gz

01-14

- **Hadoop**：Zookeeper用于管理HDFS的NameNode选举，以及YARN的ResourceManager和服务发现。 - **HBase**：依赖Zookeeper进行RegionServer的监控和负载均衡，以及表和Region的元数据存储。 - **Hive**：利用...

hadoop-2.6.0-cdh5.14.2高可用搭建

weixin_59005638的博客

11-07

404

集群规划 LY161 LY162 LY163 LY164 NameNode * * DESZKFailowerController * * DataNode * * * * JournalNode * * * NodeManager * * * * ResourceManager * * Quor

在zookeeper集群搭建成功之后进行hadoop集群的搭建

herry_yy的博客

04-13

551

由于资源限制，我们只能在6台服务器上进行搭建，虽然ResourceManager是高可用的，但是我们也只能创建一台ResourceManager节点用于节省资源。下面是各服务器节点中启动的服务和应该运行的进程的分析：我们本次模拟的环境是在无网络的状态下进行的，所以需要下载hadoop的linux压缩包，首先将下载好的安装包解压缩，这里我解压到/herry目录下(注意：需要配置的文件都在...

CDH6.3.2处理Zookeeper因未授权访问造成的漏洞

萌兔兔MMQ！！

11-24

2562

不知道你有没有注意，zk服务端启动后，默认会启动这几个具有world和cdrwa权限的znode，“/” “/zookeeper” “/zookeeper/config"和”/zookeeper/quota"（根据zookeeper的版本不同可能存在不同，并且这几个节点虽然具有world和cdrwa权限，但是是无法删除的，不知道为什么，好在我们可以给它设置ACL列表。1、digest设置Acl的时候，可以不用先添加用户，而auth设置Acl的时候，是需要提前设置用户的，否则报错。

zookeeper client操作

热门推荐

lxf310的专栏

11-07

1万+

原文地址“http://abloz.com/2012/09/04/zookeeper-client-operation.html” 独立的zookeeper 自带zkCli.sh，可以执行后查询zookeeper节点。但在和HBase一起发布的zookeeper，没有带相应的独立shell文件。zookeeper配置也融合到hbase-site.xml中了。如果想操作命令行shell

HDFS HA 搭建以及配置 ZooKeeper 自动故障转移

qq_43613793的博客

03-25

1191

文章目录HDFS HA 搭建`hdfs-site.xml`配置`core-site.xml`配置发送到其他集群启动与测试启动JournalNode进程格式化NameNode启动NameNode1启动NameNode2将NameNode1的状态置为active重新启动HDFS再次将NameNode的状态置为active在各节点执行jps命令ZooKeeper进行HDFS自动故障转移开启自动故障转移功能指定ZooKeeper集群同步其他节点停止HDFS集群启动ZooKeeper集群初始化在ZooKeeper中的

hdfs配置HA后，zookeeper无法访问 /hadoop-ha

szh_61的博客

07-17

804

环境：CDH集群环境。报错信息：Authentication is not valid : /hadoop-ha 在zkcli中输入命令：getAcl /hadoop-ha digest是zookeeper中用户名、密码的验证方式，此时，需要想办法获知hdfs-fcs的密码为多少。 cd /var/run/cloudera-scm-agent/process ls -d *FAIL...

【Hadoop】ZooKeeper集群搭建中的Connection refused而导致的启动失败

_朝和

12-08

3022

ZooKeeper集群搭建中的Connection refused而导致的启动失败时我的解决方案

Zookeeper 安装部署以及客户端使用

wzj_wp的博客

03-10

458

cdh中搜不到zookeeper的安装包，需要输入全路径即可下载下载地址：https://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.16.2.tar.gz standalone模式解压： [wzj@hadoop001 software]$ tar -zxvf zookeeper-3.4.5-cdh5.16.2.tar.gz -C ...

HADOOP之 Zookeeper客户端登录时异常问题的处理(2)

桂林算啦粉的博客

08-26

1178

HADOOP之 Zookeeper客户端登录时异常问题的处理一遇到的问题 1 建立好zookeeper 集群,分别为server1,server2,server3 ,在启动zookeeper 集群中一个节点的服务端后 ,直接启动当前节点 zkCli.sh (zookeeper客户端)的时候就出现了"进入客户端闪退" "日志信息无限重复打印"等异常，内容如下： 2020-08-26 19:43:15,498 [myid:] - INFO [main-SendThread(localhost:2181)

hadoop配置zookeeper ACL认证

那又怎样？的博客

02-25

2848

转载来自lyl 1.首先在hdfs的 core-site.xml添加如下 Eg： <property> <name>ha.zookeeper.quorum</name> <value>hadoop001:2181,hadoop012:2181,hadoop011:2181</value> </property...

CDH4 Hadoop-2.0.0与HBase-0.94.15 HA安装指南

2. Hadoop安装：涉及解压、配置多个核心配置文件如core-site.xml（定义Hadoop的通用配置）、hdfs-site.xml（定义HDFS的配置）、mapred-site.xml（定义MapReduce框架配置）和yarn-site.xml（定义YARN配置），以及配置...