clickhouse（十四、分布式DDL阻塞及同步阻塞问题）

最新推荐文章于 2025-07-18 02:14:08 发布
原创 最新推荐文章于 2025-07-18 02:14:08 发布 · 3.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#clickhouse #分布式DDL #阻塞 #副本

博客聚焦ClickHouse集群问题。一是分布式DDL阻塞、超时，由节点堆积耗时DDL引起，可查询Zookeeper队列数等验证，通过kill MUTATION或删ZK解决；二是副本同步阻塞，表现为数据量查询不一致，可查system.replication_queue表验证，通过调整线程大小或删无用表解决。

文章目录

一、分布式ddl 阻塞、超时

现象

在clickhouse 集群的操作中，如果同时执行一些重量级变更语句，往往会引起阻塞。 一般是由于节点堆积过多耗时的ddl。然后抛出如下异常

ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 159, host: 127.0.0.1, port: 8123; Code: 159, e.displayText() = 
DB::Exception: Watching task /clickhouse/task_queue/ddl/query-0000000318 is executing longer than distributed_ddl_task_timeout (=180) seconds.

最低0.47元/天 解锁文章
ClickHouse在数据库领域的分布式查询并发控制
2502_91592937的博客
06-21 826
本文旨在全面解析ClickHouse数据库在分布式查询环境下的并发控制机制。ClickHouse并发控制的整体架构设计分布式查询执行过程中的协调机制数据一致性与性能之间的权衡策略实际应用中的优化技巧和最佳实践文章首先介绍ClickHouse的基本架构和并发控制背景，然后深入分析其核心算法和实现原理。接着通过实际代码示例展示具体实现，最后讨论应用场景和未来发展方向。ClickHouse：由Yandex开发的开源列式OLAP数据库管理系统分布式查询：跨多个节点执行的查询操作并发控制。
【ClickHouse SQL 极简教程】ClickHouse SQL之数据定义语言 DDL
热门推荐
AI天才研究院
04-01 1万+
1.1. ClickHouseSQL之数据定义语言 DDL本节介绍 ClickHouse 中进行数据库、表结构的定义和管理。1.1.1.概述在SQL中，数据定义语言( DDL ) 用来创建和修改数据库Schema，例如表、索引和用户等。其中数据库的Schema描述了用户数据模型、字段和数据类型。DDL 语句类似于用于定义数据结构的计算机编程语言。常见DDL 语句包括......
clickhouse跳坑指南
欲望以提升热忱 毅力以磨平高山
09-28 3120
一、Clickhouse优缺点 优点： 1，为了高效的使用CPU，数据不仅仅按列存储，同时还按向量进行处理； 2，数据压缩空间大，减少IO；处理单查询高吞吐量每台服务器每秒最多数十亿行； 3，索引非B树结构，不需要满足最左原则；只要过滤条件在索引列中包含即可；即使在使用的数据不在索引中，由于各种并行处理机制ClickHouse全表扫描的速度也很快； 4，写入速度非常快，50-200M/s，按照每行100Byte估算，大约相当于50W-200W条/s的写入速度。 缺点： 1，不支持事务； .
故障分析 | ClickHouse 集群分布式 DDL 被阻塞案例一则
ActionTech的博客
05-06 2590
作者：任坤 现居珠海，先后担任专职 Oracle 和 MySQL DBA，现在主要负责 MySQL、mongoDB 和 Redis 维护工作。 本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 1、背景 线上有套10节点clickhouse集群，5分片 * 2副本，版本19.7.3。 开发执行一个创建分布式表的操作，9个节点都成功返回，有个节点报错，返回信息如下： Code: 159. DB::Exception: Received from 127..
clickhouse笔记
XDSXHDYY的博客
05-14 1457
官网文档：https://clickhouse.tech/docs/zh/ spark读写clickhouse spark读取clickhouse数据 //一：这种jdbc的了连接加载的是全量表数据 val prop = new java.util.Properties prop.setProperty("user", "default") prop.setProperty("password", "123456") prop.setProperty("driver", "ru.yandex.clickh
clickhouse遇到本地表不能删除，其它表也不能创建ddl被阻塞 情况。
weixin_42489619的博客
11-09 2279
clickhouse ddl报错。
clickhouse 副本同步失败问题
penglingfeng1995的博客
02-21 1995
编辑 config.xml 然后找到以下标签放开注释，这里是用来副本间传数据的地址端口，端口默认配好了是9009，防火墙需要放开这个端口，地址需要配置下指定当前主机具体的地址，不能是127.0.0.1 ，localhost之类的，不然别的主机读不到这台机。 <interserver_http_port>9009</interserver_http_port> <interserver_http_host>192.168.x.x</interserver_ht
20241006-ClickHouse分布式DDL无法执行完成，永远卡在49%!
最新发布
chenoracle的博客
07-18 423
20241006-ClickHouse分布式DDL无法执行完成，永远卡在49%!
将GaussDB分布式版同步到GaussDB集中式版（上）
Cui_Yuan_666的博客
05-19 825
DRS全量+增量同步过程一般包含四个阶段：任务启动阶段、全量阶段、增量阶段、结束任务阶段（单全量和单增量任务则包含三个阶段）。为了确保同步各个阶段的平顺，在创建同步任务前，请务必阅读以下使用须知。在使用DRS进行同步时，连接源库和目标库的数据库用户需要满足以下权限要求，才能启动实时同步任务。目标端多的列要求非空且没有默认值，源端insert数据，同步到目标端后多的列为null，不符合目标端要求。在使用DRS进行同步时，不同类型的同步任务，支持的同步对象范围不同，详细情况可参考。
【clickhouse-clickhouse副本同步失败问题排查】
Japathy
10-17 2630
搭了3台clickhouse集群，zk集群也配置叻，clickhouse相关配置也配叻，表也是建在同一个ZK节点下，采用不同副本，可插入数据一直没法同步。IP和主机映射，因此找不到该主机，配置即可。找到其中有主机节点没找到。于是查看ZK节点配置。
clickhouse distributed_ddl_task_timeout 超时
兰若惜的博客
02-08 6709
程序在执行sql语句时程序控制台报错如下： Code: 159, e.displayText() = DB::Exception: Watching task /clickhouse/task_queue/ddl/query-0000001991 is executing longer than distributed_ddl_task_timeout (=180) seconds. There are 1 unfinished hosts (0 of them are currently active),
分布式深度学习DDL解析
吴建明wujianming_110117
06-09 878
分布式深度学习DDL解析 一．概述 给一个庞大的GPU集群，在实际的应用中，现有的大数据调度器会导致长队列延迟和低的性能，该文章提出了Tiresias，即一个GPU集群的调度器，专门适应分布式深度学习任务，该调度器能够有效率的调度并且合适地放置深度学习任务以减少他们的任务完成时间（JCT(Job Completion Time)），一个深度学习任务执行的时间通常是不可预知的，该文章提出两种调度算法，基于局部信息的离散化二维Gittins索引(Discretized Two Dimensional Gitti
clickhouse分布式表副本同步不了
qq_39076920的博客
10-11 3701
clickhouse分布式表副本同步不了项目场景：在clickhouse终创建副本表问题描述：原因分析：解决方案： 项目场景：在clickhouse终创建副本表 问题描述： 创建副本表之后，插入数据，在副本服务器上查不到数据 CREATE TABLE default.test_distribute ON CLUSTER clickhouse_remote_servers(`EventDate` DateTime,`id` UInt64) ENGINE = ReplicatedMergeTree('/
Clickhouse删除更新遇到阻塞
DAO的博客
12-03 1544
Clickhouse删除和更新都是异步进行的，有时候因为某种原因，sql执行，但是没有出现执行后的结果，因为sql执行遇到了阻塞。 查询阻塞的sql： select * from system.mutations where is_done = 0； 将阻塞的sql杀掉： KILL MUTATION WHERE database = 'aaa' AND table = 'user'; 再次查询阻塞确保已经kill掉。 执行sql，好使。 ...
分布式数据库DDL的编译与执行
KaiwuDB 数据库
05-26 413
执行流程中最主要的结构体就是batch，表描述符会存在batch里面，通过writeTableDescToBatch函数，在该函数里面，首先判断这个表如果不是一个新的表，需要将表的version+1，然后会验证表描述符格式是否良好，调用addUncommittedTable函数，这允许事务在绕过表租赁机制的情况下查看自己的修改，最后是将表描述符的KV写入到batch里面。通常来说，KaiwuDB DDL语句的流程主要分为四个部分，分别是逻辑计划生成，物理计划生成，计划执行和 schemachange。
干货好文:分布式数据库DDL的编译与执行
Free雅轩的博客
06-17 400
DDL 是数据定义语言，用于定义和管理 SQL 数据库中的所有对象的语言，常用的命令有：create，drop，alter 等。通常来说，浪潮云溪数据库 DDL 语句的流程主要分为四个部分，分别是逻辑计划生成，物理计划生成，计划执行和 schemachange。本文主要介绍逻辑计划生成，物理计划生成和计划执行。逻辑计划生成逻辑计划生成主要是生成一个 planNode 逻辑计划节点，每一条 SQL 都会有自己的 planNode，以 create table 为例，该 SQL 生成的 planNode 中包含
分布式表数据异常？ClickHouse查询结果与副本同步问题
Yori_22的博客
12-26 1062
在大数据处理和分析领域，ClickHouse以其卓越的性能和高效的查询能力，成为了众多企业和开发者的首选。然而，在使用ClickHouse的分布式表时，一些用户可能会遇到数据异常的问题，尤其是查询结果与副本同步不一致的情况。本文将深入探讨这一现象的原因、影响及解决方案。
clickhouse 基于集群实现分布式DDL的使用示例及坑
penriver的博客
12-20 2731
在ClickHouse中创建表、删表等DDL操作是一件麻烦的事，需要登录集群中的每一个节点去执行DDL语句，怎么简化这个操作呢？ ClickHouse(即CH)支持集群模式。可以在DDL语句上附加ON CLUSTER <cluster_name>的语法，使得该DDL语句执行一次即可在集群中所有实例上都执行，简单方便。 一个集群拥有1到多个节点。 CREATE、ALTER、DROP、RENAME、TRUNCATE这些DDL语句，都支持**分布式执行
clickhouse执行SQL超时相关解决
clearMarkCC的博客
12-30 4238
clickhouse执行sql超时的执行各种办法讨论
clickhouse分布式表可以rename吗
07-13
<think>我们正在讨论的是ClickHouse分布式表的重命名操作。根据引用[5]，分布式表是在集群上创建的，使用`CREATE TABLE ... ON CLUSTER`语法。现在用户想知道是否可以对这样的分布式表执行重命名操作。 在ClickHouse中，重命名表可以使用`RENAME TABLE`语句。对于分布式表，由于它是在集群上创建的，我们需要考虑这个操作是否能在集群上执行。 根据ClickHouse官方文档，`RENAME TABLE`可以在分布式表上使用，并且可以通过`ON CLUSTER`子句在集群的所有节点上执行。但是，需要注意的是，分布式表本身只是一个逻辑视图，它背后是多个分片上的本地表。因此，重命名分布式表时，实际上只是重命名了这个逻辑视图，而不会影响底层的本地表。 然而，如果用户想要重命名底层的本地表（即每个分片上的实际存储表），那么需要分别在每个分片上执行重命名操作，或者通过`ON CLUSTER`子句在集群上执行。 因此，针对用户的问题： 问：ClickHouse分布式表是否支持重命名操作？ 答：支持。但是需要注意分布式表与本地表的区别。 具体操作如下： 1. 重命名分布式表（逻辑视图）： ```sql RENAME TABLE current_distributed_table_name TO new_distributed_table_name ON CLUSTER cluster_name; ``` 这条语句会在集群的所有节点上重命名分布式表（视图）。注意，分布式表本身并不存储数据，所以重命名它只是改变了逻辑视图的名称。 2. 重命名本地表（实际存储表）： 如果用户需要重命名每个分片上的本地表（即创建分布式表时指定的本地表），则需要执行： ```sql RENAME TABLE current_local_table_name TO new_local_table_name ON CLUSTER cluster_name; ``` 注意：重命名本地表后，需要相应地更新分布式表，因为分布式表是通过本地表的名称来访问数据的。所以，一般不建议直接重命名本地表，除非你知道如何更新所有相关的分布式表。 重要提醒： - 在重命名分布式表之前，确保没有正在进行的查询或写入操作，以免造成不一致。 - 重命名操作是原子性的，但在集群上执行时，需要确保所有节点都可用。 另外，引用[5]中的示例创建了一个复制表（使用`ReplicatedMergeTree`引擎）并指定了集群。对于这样的表，重命名操作同样可以通过`ON CLUSTER`子句在集群上执行。 总结：ClickHouse分布式表支持重命名操作，使用`RENAME TABLE ... ON CLUSTER`语句。 注意：在重命名表之后，如果有应用程序或查询引用了旧表名，需要更新这些引用。 如果用户需要更详细的操作步骤，可以提供具体的表名和集群名。 §§相关问题§§ 1. ClickHouse中如何安全地重命名本地表而不影响分布式表？ 2. 重命名ClickHouse表后，如何更新物化视图和字典？ 3. ClickHouse集群操作中`ON CLUSTER`子句支持哪些DDL语句？</think>### ClickHouse分布式表是否支持重命名操作 是的，**ClickHouse分布式表支持重命名操作**，但需要特殊处理才能保证数据一致性和集群同步。具体操作方法和注意事项如下： --- #### 1. **标准重命名操作** 通过`RENAME TABLE`命令实现，但需添加`ON CLUSTER`子句确保集群所有节点同步执行： ```sql RENAME TABLE current_table TO new_table ON CLUSTER your_cluster_name; ``` - **适用场景**：适用于普通表或分布式表的逻辑视图重命名[^5]。 - **注意事项**： - 需确保集群所有节点在线 - 重命名期间会短暂阻塞读写操作 --- #### 2. **分布式表重命名的特殊处理** 分布式表由**逻辑视图**和**底层物理表**组成，需分层操作： 1. **重命名逻辑视图**： ```sql RENAME TABLE distributed_view TO new_view ON CLUSTER cluster_name; ``` 2. **重命名底层物理表**： ```sql -- 在每个分片上执行（需替换分片名） ALTER TABLE shard_physical_table RENAME TO new_physical_table ON CLUSTER shard_name; ``` --- #### 3. **关键注意事项** 1. **数据一致性**： - 重命名前停止写入，避免数据丢失 - 使用`SYSTEM SYNC REPLICA`确保副本同步[^5] ```sql SYSTEM SYNC REPLICA your_table ON CLUSTER cluster_name; ``` 2. **依赖对象更新**： - 更新物化视图的源表引用： ```sql ALTER TABLE materialized_view MODIFY QUERY SELECT ... FROM new_distributed_table ... ``` 3. **ZooKeeper元数据**： - 重命名后检查ZK路径： ```bash echo "ls /clickhouse/tables" | zookeeper-client ``` - 若路径未更新，需手动删除旧节点[^2] --- #### 4. **替代方案：重建分布式表** 若重命名复杂，可创建新表后迁移数据： ```sql -- 创建新分布式表 CREATE TABLE new_distributed_table ON CLUSTER cluster_name ENGINE = Distributed(cluster, db, physical_table, rand()) AS SELECT * FROM old_distributed_table; -- 迁移后删除旧表 DROP TABLE old_distributed_table ON CLUSTER cluster_name; ``` **优势**：避免元数据冲突，适合大表操作[^1][^2]。 --- ### 操作建议流程 1. **准备阶段**： ```sql STOP DISTRIBUTED SENDS ON CLUSTER cluster_name; -- 暂停写入 SYSTEM SYNC REPLICA ON CLUSTER cluster_name; -- 同步副本 ``` 2. **执行重命名**： ```sql RENAME TABLE old_name TO new_name ON CLUSTER cluster_name; ``` 3. **验证**： ```sql SELECT name FROM system.tables WHERE name = 'new_name' AND cluster = 'cluster_name'; ``` 4. **恢复服务**： ```sql START DISTRIBUTED SENDS ON CLUSTER cluster_name; ``` > **重要提示**：生产环境操作前，务必在测试集群验证流程[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值