【踩坑日常】解决 ClickHouse 分布式表重建引发的元数据异常问题Existing table metadata in ZooKeeper differs in primary key.

最新推荐文章于 2025-01-14 23:23:03 发布

Abner G

最新推荐文章于 2025-01-14 23:23:03 发布

阅读量1.4k

点赞数 3

分类专栏： Clickhouse 踩坑日常文章标签：分布式 clickhouse zookeeper

本文链接：https://blog.youkuaiyun.com/abner_g/article/details/135919514

版权

在调整ClickHouse分布式表结构时遇到元数据异常，删除表后ZooKeeper仍有旧表信息。原因是DROP TABLE操作仅标记为删除，实际删除有延迟。解决方法包括使用SYNC关键字或直接在ZooKeeper上删除，但同步查询可能阻塞队列。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

🏆项目场景：

在线上分布式 ClickHouse 数据表结构需要调整，这要求删除现有的分布式表，并重新创建（DDL 发生变化）。然而，删除表后重新创建时可能会出现 Code: 342. DB::Exception: Existing table metadata in ZooKeeper differs in primary key 异常。

[2024-01-26 15:40:24] Code: 342. DB::Exception: There was an error on [chi-yjy-clickhouse-cluster-yjyprod-0-2:9000]

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Abner G

关注关注

3
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

大数据（5q）ClickHouse元数据

ArYe

10-06

1450

ClickHouse常用系统表表（system.tables）列（system.columns）查询表和字段注释

腾讯云CDW-ClickHouse云原生实践

cloudbigdata的博客

04-01

1303

本文介绍腾讯云数仓产品CDW-ClickHouse从云托管向云原生架构演进。探讨了利用云原生架构对开源ClickHouse进行改造过程中的难点与挑战、方案设计、关键技术、以及后续规划。

参与评论您还未登录，请先登录后发表或查看评论

Clickhouse彻底删除表, drop表后重新创建报错，Code: 342, Existing table metadata in ZooKeeper differs in primary key

一名Java后端程序员，分享日常bug和一些好玩的东西！

03-29

1万+

Clickhouse彻底删除表, drop表后重新创建报错，Code: 342, Existing table metadata in ZooKeeper differs in primary key如题，drop表正常，新建表时报错解决方式：在zookeeper上删除表重新建表成功如题，drop表正常，新建表时报错 clickhouse建表时提示错误： Code: 342, e.displayText() = DB::Exception: Existing table metadata in ZooK

clickhouse 删除分布式表分本地立马重建报错 DB::Exception: Replica /ClickHouse/tables/***/ already exists

TaiYangb的博客

03-03

4116

DB::Exception: Replica /ClickHouse/tables/01/kun_cjo.ads_etl_log_local/replicas/ already exists (version 21.8.15.7). Stack trace:

Kafka‘s Metadata In ZooKeeper Directories

来啊快活啊

12-31

699

参考apache kafka系列之在zookeeper中存储结构 kafka在zookeeper中的存储结构 Kafka Documentation#ZooKeeper Directories

clickhouse 删除表重建

08-24

报错提示为"Existing table metadata in ZooKeeper differs in primary key"，这是因为在ZooKeeper中存在与我们要创建的表同名的表的元数据。要解决这个问题，我们可以通过在ZooKeeper上删除相应的表来重新建表。...

Solr入门之官方文档6.0阅读笔记系列(十)

筑梦者

09-06

5923

The Well-Configured Solr Instance 告诉你如何调节solr实例到最佳性能 Configuring solrconfig.xml solrconfig.xml的配置对solr工作的影响很大能完成以下内容: request handlers, which process the requests to Solr, such as

Apache Software Foundation Index: Project Listing

H.B.Hooper

03-18

4058

http://projects.apache.org/indexes/quick.html HomeIndexes AlphabeticalCategoriesLanguagePMCProject ListingReleasesStandards FeedsDOAP Files GuidelinesCreate a DOAP FileDO

高级DBA教你clickhouse迁移数据库数据存储路径文件的通用方法全网最详细

nasen512的博客

12-22

2941

clickhouse默认存储路径是根目录的。怎么动态迁移数据存储路径文章介绍的很详细！

记录一次ClickHouse数据迁移的过程

weixin_42155491的博客

05-11

1469

迁移的背景：首先目前的集群是4节点，配置为：4分片1副本（也就是没有数据备份），然后其中一个节点由于服务器问太卡访问太慢，需要去掉该节点，再重新加一个节点，然后再把去掉的节点上的数据迁移到新的节点中，然后整个集群还是4个节点。方案：借助clickhouse-copier，这是官网提供的一个数据迁移的工具，它可以做整个集群迁移到另一个集群，也可以只把其中一个分片的数据迁移，也可以在集群内部做数据迁移，这次我们的背景是集群内部做迁移。具体做法：首先我的想法是，先新增一个节点，就是集群由4节点变成5

clickhouse元数据恢复

峰

07-03

1015

clickhouse重度依赖zookeeper，zookeeper故障后清空了数据，导致clikchouse表元数据丢失，需要手动恢复，记录一下解决办法。clickhouse版本，22.9.7.34。

clickhouse简介与实战_clickhouse实战

2401_83947105的博客

04-28

967

Clickhouse “3 分片 2 副本” 的部署模式可以在保障高效查询的同时，开启错误容忍的功能：理论上，三台物理节点搭建的 Clickhouse 3 Shard 2 Replica 集群可以充分并行使用 3 台物理节点的计算资源，同时支持最多 1 台主机的宕机；Shard 标签里面配置的 replica 互为副本，将 internal_replication 设置成 true，此时写入同一个 Shard 内的任意一个节点的本地表，ZooKeeper 会自动异步的将数据同步到互为副本的另一个节点。

Clickhouse 分布式表&本地表详解

奔跑的蜗牛的博客

01-14

4125

Clickhouse的表分为两种一个逻辑上的表, 可以理解为数据库中的视图, 一般查询都查询分布式表. 分布式表引擎会将我们的查询请求路由本地表进行查询, 然后进行汇总最终返回给用户.实际存储数据的表。

doris&clickhouse&spark的元数据解析