org.apache.zookeeper.KeeperException$InvalidACLException: KeeperErrorCode = InvalidACL for /f

mtj66

于 2017-10-26 18:07:17 发布

阅读量5.1k

点赞数

分类专栏： kafka spark

本文链接：https://blog.youkuaiyun.com/mtj66/article/details/78357030

版权

spark 同时被 2 个专栏收录

40 篇文章 ¥19.90 ¥99.00

订阅专栏

kafka

13 篇文章

订阅专栏

在Spark Streaming使用中，遇到更新Zookeeper时抛出InvalidACLException异常。为解决这个问题，可以在测试阶段添加代码，创建相关路径：包括/consumers/groupId、/consumers/groupId/offsets等。通过ZkUtils更新这些路径的数据，然后正常提交offset到Zookeeper。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在spark streaming中更新数据到zookeeper，第一次更新的时候可能会报如上错（from kafka_0.9），

解决方案就是在测试过程中临时加入如下代码: 目的是创建相对应的文件夹

ZkUtils(zkClient, false).updatePersistentPath(path="/consumers/groupId", data="groupId")
ZkUtils(zkClient, false).updatePersistentPath(path="/consumers/groupId/offsets", data="offset")
ZkUtils(zkClient, false).updatePersistentPath("/consumers/groupIdoffsets/topic1", "partiiton=12")
ZkUtils(zkClient, false).updatePersistentPath("/consumers/groupId/offsets/topic2", "partition=3")

// 提交部分

val zkPath = s"${topicDir.consumerOffsetDir}/${o.partition}"
ZkUtils(zkClient, isZkSecurityEnabled=false).updatePersistentPath(zkPath, offset)