Apache Doris (四十六): Doris数据更新与删除 - 批量删除

本文详细介绍了Apache Doris的批量删除原理和案例,针对Unique表,通过Broker Load、Routine Load、Stream Load等方式导入数据时,指定DELETE模式实现数据删除。批量删除能有效解决频繁删除对查询性能的影响,特别是对于Unique模型的表,通过隐藏列__DORIS_DELETE_SIGN__进行数据标记,确保只显示未被删除的数据。

🏡 个人主页IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客

 🚩 私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。

 🔔 博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频


目录

1. 批量删除原理

2. 批量删除案例

2.1 Unique表没有Sequence列

​​​​​​​2.2 Unique表有Sequence列


对于数据的删除目前只能通过delete语句进行删除,使用delete 语句的方式删除时,每执行一次delete 都会生成一个新的数据版本,如果频繁删除会严重影响查询性能,并且在使用delete方式删除时,是通过生成一个空的rowset来记录删除条件实现,每次读取都要对删除条件进行过滤,同样在条件较多时会对性能造成影响。

我们可以使用批量删除方式来解决以上问题,批量删除只针对Unique模型的存储表。

​​​​​​​1. 批量删除原理

目前Doris 支持 Broker Load,Routine Load, Stream Load 等多种导入方式,针对一张已经存在的Unique表,通过不同的导入方式向表中增加数据时,导入的数据有三种合并方式:

  1. APPEND: 数据全部追加到现有数据中【默认】;
  2. DELETE: 删除所有与导入数据key 列值相同的行(当表存在sequence列时,需要同时满足主键相同以及sequence列的大小逻辑才能正确删除)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值