ClickHouse数据库中同步执行Delete语句

最新推荐文章于 2024-12-18 07:17:19 发布
原创 最新推荐文章于 2024-12-18 07:17:19 发布 · 397 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#clickhouse

问题：

在使用ClickHouse数据库中引擎类型是MergeTree的表进行大批量删除数据时，发现是异步删除，影响了后续对数据的使用。

查看官方文档，发现删除默认确实是异步的

解决方案：

在每批次的删除后，都执行下面的sql，将等待数据处理结束才返回，需要注意的是，这条语句会影响性能

OPTIMIZE TABLE tableName FINAL

同步和异步的区别：

以下日志是每批次数据处理完成后打印的，从批次间的耗时可以看出来，同步和异步执行时间差将近三倍

异步：

2024-11-15 16:15:36.743  INFO 26345 --- [  XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第1批，删除后表中总条数:150009
2024-11-15 16:15:36.765  INFO 26345 --- [  XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第2批，删除后表中总条数:150009
2024-11-15 16:15:36.791  INFO 26345 --- [  XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第3批，删除后表中总条数:150009
2024-11-15 16:15:36.812  INFO 26345 --- [  XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第4批，删除后表中总条数:145009
2024-11-15 16:15:36.836  INFO 26345 --- [  XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第5批，删除后表中总条数:145009
2024-11-15 16:15:36.859  INFO 26345 --- [  XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第6批，删除后表中总条数:145009
2024-11-15 16:15:36.891  INFO 26345 --- [  XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第7批，删除后表中总条数:135009
2024-11-15 16:15:36.919  INFO 26345 --- [  XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第8批，删除后表中总条数:135009
2024-11-15 16:15:36.948  INFO 26345 --- [  XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第9批，删除后表中总条数:135009

同步：

2024-11-15 16:09:38.376  INFO 18758 --- [  XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第1批，删除后总条数:144999
2024-11-15 16:09:38.454  INFO 18758 --- [  XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第2批，删除后总条数:139999
2024-11-15 16:09:38.538  INFO 18758 --- [  XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第3批，删除后总条数:134999
2024-11-15 16:09:38.611  INFO 18758 --- [  XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第4批，删除后总条数:129999
2024-11-15 16:09:38.681  INFO 18758 --- [  XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第5批，删除后总条数:124999
2024-11-15 16:09:38.760  INFO 18758 --- [  XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第6批，删除后总条数:119999
2024-11-15 16:09:38.849  INFO 18758 --- [  XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第7批，删除后总条数:114999
2024-11-15 16:09:38.932  INFO 18758 --- [  XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第8批，删除后总条数:109999
2024-11-15 16:09:39.000  INFO 18758 --- [  XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl     : 第9批，删除后总条数:104999

weijia2
关注
ClickHouse数据库的性能瓶颈分析与解决
2502_91592937的博客
07-07 954
本文以ClickHouse数据库的性能优化为核心，通过"理论-架构-实现-实践"的系统化分析框架，深度拆解其性能瓶颈的底层逻辑，并提供可落地的解决策略。内容覆盖硬件资源约束、查询引擎限制、数据分布特性等核心维度，结合第一性原理推导与工业级案例，为不同技术背景的读者构建从概念理解到工程实践的完整知识链。ClickHouse的性能瓶颈本质是资源约束与需求增长的矛盾计算资源：CPU利用率饱和（向量化执行的计算密集性）存储资源：磁盘IO瓶颈（高频小文件读写、压缩/解压缩开销）
ClickHouse 创建数据库/建表/视图/字典 SQL
AI天才研究院
04-02 3万+
1.1. ClickHouseSQL之数据定义语言 DDL本节介绍 ClickHouse 中进行数据库、表结构的定义和管理。1.1.1.概述在SQL中，数据定义语言( DDL ) 用来创建和修改数据库Schema，例如表、索引和用户等。其中数据库的Schema描述了用户数据模型、字段和数据类型。DDL 语句类似于用于定义数据结构的计算机编程语言。常见DDL 语句包括...
在 ClickHouse 中处理更新和删除
ClickHouseDB的博客
10-07 8565
ClickHouse为不同的情况提供了多种强大的方式来有效地更新和删除数据
clickhouse数据库删除数据的五种方式
ma286388309的博客
02-09 3万+
clickhouse数据库清理数据的方式很多，每种方式都各有自己的优缺点，请根据实际需要采用适合自己的方式，下面逐一介绍。方法三、五将清理全部数据，请确保数据安全，根据实际场景谨慎应用。
ClickHouse 入门（二）【基础SQL操作】
功不唐捐，玉汝于成
07-18 2036
clickhouse 基本语法、多维分析、副本引擎、分片副本机制
Clickhouse 数据删除更新
基咯咯
06-20 4万+
数据删除 按分区删除 ALTER TABLE db_name.table_name DROP PARTITION '20200601' 按条件删除 ALTER TABLE db_name.table_name DELETE WHERE day = '20200618' 数据更新 ALTER TABLE <table_name> UPDATE col1 = expr1, ... WHERE <filter> 举例： :) select event_status_
clickhouse的delete操作
weixin_43043059的博客
11-27 678
注意：clickhouse的delete操作是异步的，导入数据时执行先删后插操作,可能会先插后删。
clickhouse-数据库引擎
chuige2013的博客
12-18 1590
任何一个批次的数据写入都会产生一个临时分区，也就是写入一个新的分区目录，不会纳入任何一个已有的分区。写入后的某个时刻（大概10-15分钟后），ClickHouse会自动执行合并操作（等不及也可以手动通过optimize执行），把临时分区的数据，合并到已有分区中，已经存在的旧分区目录并不会立即被删除，而是在之后的某个时刻通过后台任务被删除（默认8分钟）。如果在 SELECT 查询中没有指定_version，则使用 FINAL 修饰符，返回_version 的最大值对应的数据，即最新版本的数据；
客快物流大数据项目（九十九）：Clickhouse中update/delete的使用
Lansonli（蓝深李）的博客
12-25 970
从使用场景来说，Clickhouse是个分析型数据库。这种场景下，数据一般是不变的，因此Clickhouse对的支持是比较弱的，实际上并不支持标准的update、delete操作。下面介绍一下Clickhouse中update、delete的使用。Clickhouse通过alter方式实现更新、删除，它把update、delete操作叫做(突变)。那么，与标准的update、delete有什么区别呢？标准SQL的更新、删除操作是同步的，即客户端要等服务端返回执行结果（通常是int值）；
clickhouse数据库parts无法合并问题
斯坦索姆的博客
04-02 2957
此时注意到一个异常值，zookeeper中的znode节点数量3100万，这个zookeeper集群只提供给clickhouse使用，所以znode全部属于clickhouse，zookeeper中的数据存储结构是多叉树的结构，下面对数据目录进行说明。查询后发现个别表单表每日数据量在7T左右，插入后进行合并时，会出现一些大part，达到200GB，这些part在合并时无法merge，但合并的线程不释放，那么问题就找到了，线程被占用，其余的表无法合并，长此以往parts数量只会越来越多。
【ClickHouse】Clickhouse中update/delete的使用
天天新知
05-20 2万+
从使用场景来说，Clickhouse是个分析型数据库。这种场景下，数据一般是不变的，因此Clickhouse对update、delete的支持是比较弱的，实际上并不支持标准的update、delete操作。 下面介绍一下Clickhouse中update、delete的使用。 1. 更新和删除的语法 Clickhouse通过alter方式实现更新、删除，它把update、delete操作叫做mutation(突变)。语法为： ALTER TABLE [db.]table DELETE WHERE
【最佳实践指南】在ClickHouse中更新和删除数据
IT部落格
03-08 1万+
对于一个分析型数据库而言，更新和删除数据是有挑战的，它会显著影响数据库的性能。为了解决这个问题，ClickHouse为不同场景提供了不同的高效更新和删除数据方式：Lightweight删除，通过语句从ClickHouse里删除数据。这是删除数据最高效的方式，适合无需立即释放磁盘空间、允许数据继续存留在磁盘上的场景；Mutation删除，通过语句删除。适合需要立即释放磁盘空间的场景。例如，合规要求需要确保数据从磁盘上删除。Mutation更新，通过语句更新。适合不会频繁更新数据的场景使用TTLs。
ClickHouse删除数据之delete问题详解
m0_67401055的博客
08-01 2891
数据在重写的过程中会将需要删除的数据去掉。经过查阅资料得知，ClickHouse提供了DELETE和UPDATE的能力，这类操作称为Mutation查询，可以看作ALTER语句的变种。ClickHouse中一张数据表中一天有7000w数据，采用delete删除命令删除一周数据，SQL已经执行成功，短时间内查询原表数据仍然存在，没有被删除，过了一会之后，在查询数据删除成功。mutation_6.txt是一个日志文件，完整地记录了这次DELETE操作的执行语句和时间，而文件名的后缀_6与新增目录的后缀对应。..
ClickHouse Delete原理
ZzTnT的博客
06-13 946
ClickHouse会在表的元数据中记录一个新的变更（mutation），其中包含要删除的数据行的条件。在合并过程中，ClickHouse会检查哪些行被标记为删除，并在合并时将这些行排除在新的数据部件之外。手动触发合并：可以使用OPTIMIZE TABLE语句手动触发合并，加快删除操作的生效。后台合并：删除操作在后台合并任务中实际生效，合并过程会将被标记的数据行从存储中移除。被标记为删除的数据行在合并过程中被实际删除，这意味着删除操作并不是即时生效的。这个过程是异步的，并且取决于系统的负载和配置。
ClickHouse系列5-SQL操作
只是甲的博客
04-06 2646
基本上来说传统关系型数据库（以 MySQL 为例）的 SQL 语句，ClickHouse 基本都支持， 这里不会从头讲解 SQL 语法只介绍 ClickHouse 与标准 SQL（MySQL）不一致的地方。 文章目录一. Insert二. Update 和 Delete三. 查询操作四. alter 操作五. 导出数据 一. Insert 基本与标准 SQL（MySQL）基本一致 （1）标准 insert into [table_name] values(…),(….) （2）从表到表的插入 insert
Clickhouse UPDATE 和 DELETE操作
热门推荐
vkingnew 的技术博客
06-23 5万+
历史： 概述： Clickhouse提供了delete和update操作，这类操作被称之为Mutation查询，是ALTER语句的变种。虽然Mutation能最终实现修改和删除，但是不能完全以通常意义上的update和delete操作来理解。 1.Mutation操作适用于批量数据的修改和删除 2.不支持事务 一旦语句被提交执行就会立刻对现有的数据产生影响，无法回滚。 3.Mutation操作执行是一个异步的过程，语句提交会立即返回，但是不代表具体逻辑已经执行完毕，具体的执行记录需要在sys.
clickhouse 删除语句
最新发布
04-25
<think>好的，用户现在想了解ClickHouse中删除分区或数据的语句。我需要结合之前的对话和提供的引用来回答。 首先回顾之前的回答，用户已经询问过如何使用ALTER TABLE删除分区，我给出了不同数据库的语法，包括ClickHouse的DROP PARTITION示例。现在用户进一步明确需求，想了解ClickHouse的DELETE语句和DROP PARTITION的具体语法。 查看用户提供的引用，引用[2]提到ClickHouse通过主键删除数据的方法，使用deleteData函数。引用[4]是关于ClickHouse安装和基本使用的信息。之前的回答中也提到了ALTER TABLE ... DROP PARTITION的用法，如引用[3]中的例子。 需要区分DELETE和DROP PARTITION的不同。在ClickHouse中，DELETE是数据操作，而DROP PARTITION是结构操作。DELETE语句适用于按条件删除部分数据，而DROP PARTITION则是删除整个分区的数据，效率更高。 注意ClickHouse的DELETE是异步的，属于轻量删除，而DROP PARTITION是立即生效的。需要提醒用户注意数据备份和性能影响，尤其是在生产环境中。 还要考虑用户可能的错误，比如语法错误，引用[3]提到MySQL的1064错误，但ClickHouse的语法不同，需要正确示范。 最后，生成相关问题时，应涵盖语法对比、性能优化、数据恢复和常见错误，帮助用户全面理解。</think>### ClickHouse 删除数据与分区的完整语法解析 在 ClickHouse 中删除数据或分区需要根据具体场景选择操作方式，以下是详细语法和场景对比： --- #### 一、删除数据：DELETE 语句（异步操作） ClickHouse 的 `DELETE` 是 **轻量级删除**（通过标记版本实现），适用于按条件删除部分数据： ```sql ALTER TABLE [db.]table DELETE WHERE condition [SETTINGS mutations_sync = 0|1]; ``` **参数说明**： - `condition`：必须包含主键字段（非主键条件会导致全表扫描）[^2] - `mutations_sync`：设置是否等待操作完成（0=异步，1=同步等待） **示例**： ```sql -- 删除特定日期前的日志 ALTER TABLE web_logs DELETE WHERE timestamp < '2024-01-01' SETTINGS mutations_sync=1; ``` --- #### 二、删除分区：DROP PARTITION（立即生效） 直接移除整个分区的物理数据文件，效率远高于 DELETE： ```sql ALTER TABLE [db.]table DROP PARTITION partition_expr; ``` **参数说明**： - `partition_expr`：支持表达式或具体值，如 `'2024-01'`、`toYYYYMM(date)` **示例**： ```sql -- 删除2023年12月分区（假设按月份分区） ALTER TABLE sales_data DROP PARTITION '2023-12'; -- 表达式动态指定分区 ALTER TABLE sensor_logs DROP PARTITION toYYYYMM(now()) - 1; -- 删除上月数据 ``` --- #### 三、核心差异对比表 | 特征 | DELETE | DROP PARTITION | |-----------------|---------------------------------|-----------------------------| | **操作类型** | 逻辑标记删除（异步） | 物理删除（立即生效） | | **适用场景** | 条件复杂的部分数据删除 | 批量删除整个分区数据 | | **性能影响** | 较高（需要扫描数据） | 极低（直接操作文件） | | **存储释放速度** | 依赖后台合并进程 | 立即释放 | | **事务支持** | 支持（通过版本控制） | 原子性操作 | --- #### 四、生产环境注意事项 1. **数据备份**：建议执行前通过 `CREATE TABLE backup AS SELECT ...` 创建临时备份表[^4] 2. **分区表达式验证**：可通过 `SELECT partition FROM system.parts` 确认分区标识 3. **权限控制**：需要 `ALTER DELETE` 权限（非 root 用户需授权） 4. **性能优化**：批量删除时推荐使用 `DROP PARTITION`，避免触发过多 mutation 任务[^2] --- #### 五、常见错误处理 ```sql -- 错误：未指定主键条件 ALTER TABLE user_actions DELETE WHERE device_id = 'X1'; -- 若device_id不是主键将报错 -- 解决方案：添加主键条件 ALTER TABLE user_actions DELETE WHERE user_id IN (SELECT user_id FROM temp_table) AND -- 主键字段 device_id = 'X1'; ``` --- ### 相关问题 1. ClickHouse 的 DELETE 和 TRUNCATE 有何本质区别？ 2. 如何监控正在执行的 mutation 任务进度？ 3. 分区键设计不合理会导致哪些删除问题？ 4. 为什么 ClickHouse 的 DELETE 语句需要主键条件？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值