Doris DUPLICATE KEY数据更新&覆盖方案

最新推荐文章于 2025-10-16 15:07:35 发布

原创

最新推荐文章于 2025-10-16 15:07:35 发布 · 2.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

1.问题背景

因为业务侧存在数据口径和ETL出错的问题，需要对数据历史部分数据进行删除后重新生成并写入的需求。

2.实现步骤

创建表

CREATE TABLE IF NOT EXISTS test1
(
    `day` DATE NOT NULL COMMENT "default 1980-00-00",
    `user_type` VARCHAR(20) COMMENT "",
    `product` VARCHAR(20) CO

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wangleigiser

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Doris 数据模型—Duplicate 模型

01-11

4万+

Duplicate 模型的主要业务场景是日志分析，也就是业务数据没有主键的场景，因为没有主键所以可以分析任意维度Duplicate 适合任意维度的 Ad-hoc 查询。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势（只读取相关列，而不需要读取所有 Key 列）

Apache Doris (四十三）： Doris数据更新与删除 - Update数据更新

qq_32020645的博客

10-18

1618

🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。如果我们需要修改或更新Doris中的数据，如何使用UPDATE命令来操作。数据更新对Doris的版本有限制，只能在Doris Version 0.15.x + 才可以使用。，使用场景为：对满足某些条件的行进行修改值或小范围数据更新，待更新的行最好是整个表非常小的一部分。Doris利用查询引擎自身的 where 过滤逻辑，从待更新表中筛选出需要被更新的行。

参与评论您还未登录，请先登录后发表或查看评论

doris，DUPLICATE KEY类型不支持update

qq_40382400的博客

01-10

1264

明细表只能支持insert/delete，不支持update语句。update需要通过delete+insert实现。

Doris中实现高效批量更新数据的几种方法

热门推荐

锋哥聊DORIS数仓

07-31

1万+

1.数据更新 Doris中存储的数据都是以追加（Append）的方式进入系统，这意味着所有已写入的数据是不可变更的。所以 Doris采用标记的方式来实现数据更新的目的。即在一批更新数据中，将之前的数据标记为删除，并写入新的数据。在读取过程中，Doris会自动处理这些标记数据（Merge-on-Read），保证用户读取到的是最新的数据。同时，Doris后台的数据合并（Compaction）线程也会不断的对数据进行合并，消除标记数据，以减少在读取过程中需要进行的合并操作，加速查询。大部分对数据修改

Doris 数据库更新指南：高效与灵活的完美结合

一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!

03-28

1219

咱们就深入了解下，Doris 究竟有哪些数据更新的 “绝招”，又是怎么操作的呢？

doris：数据更新概述

qq_36070104的博客

01-31

1611

doris：数据更新概述

Doris DUPLICATE KEY数据覆写方案

wangleigiser的博客

12-05

1444

因为业务侧存在数据口径和ETL出错的问题，需要对数据历史部分数据进行删除后重新生成并写入的需求。

【Doris入门】Doris数据表模型：明细模型（Duplicate Key Model）详解

IT成长日记的博客

09-01

1340

本文将深入剖析 Doris 的明细模型（Duplicate Key Model），从技术原理、建表示例、数据操作到性能优化，全方位解读这一最常用也最基础的数据模型。在明细模型中，建表时指定的 DUPLICATE KEY 仅用于指明数据存储的排序列，并不代表唯一性约束。其实现原理是记录删除谓词（Delete Predicate），在查询时作为运行时过滤器过滤掉被删除的数据。Apache Doris 的明细模型（Duplicate Key Model）作为最基础也是最常用的数据模型，

Apache Doris三种数据模型(Aggregate、Uniq、Duplicate)的使用及其注意点

Bulut0907

10-26

1万+

目录1. key和value2. 数据模型2.1 Aggregate数据模型 1. key和value 这里的key并不是索引的意思，下面根据情况具体说明： Aggregate数据模型：key为聚合的键，value为聚合的值 Uniq数据模型：key为聚合的键，value为聚合的值 Duplicate数据模型：key为建表时指定的duplicate key(sorted column，只是用来排序)，其余字段为value rollup 作用于Aggregate和Uniq数据模型：key为聚合的键，val

Apache Doris 数据更新与删除：Update数据更新；Delete数据删除；Sequence 列；批量删除

学亮编程手记

02-12

7991

如果我们需要修改或更新Doris中的数据，如何使用UPDATE命令来操作。数据更新对Doris的版本有限制，只能在Doris Version 0.15.x + 才可以使用。数据更新只能在数据模型的表中执行，使用场景为：对满足某些条件的行进行修改值或小范围数据更新，待更新的行最好是整个表非常小的一部分。

Doris部分列更新

先生一笑而起渺海阔而天高

10-22

3180

在需要频繁更新某些字段的场景中，例如用户标签表中的行为信息更新，以支持广告或推荐系统的实时分析和决策。：将多张源表的数据合并成一张大宽表，可以通过部分列更新来实现。：在需要修正某些数据的场景中，部分列更新可以有效减少更新的开销。：部分列更新支持高频的并发写入，适用于需要实时更新大量行但仅涉及少数列的场景。：在更新少数列时，部分列更新可以显著提高性能，尤其是在涉及大量行的情况下。这些场景中，部分列更新通过减少不必要的数据写入和锁定，提升了系统的整体性能和响应速度。

Apache Doris (四十四）： Doris数据更新与删除 - Delete 数据删除

qq_32020645的博客

10-19

1101

🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Doris 支持通过两种方式对已导入的数据进行删除。一种是通过 DELETE FROM 语句，指定 WHERE 条件对数据进行删除。这种方式比较通用，另一种删除方式仅针对 Unique 主键唯一模型，Doris 内部会通过删除标记位对数据进行最终的物理删除。

doris主键模型的 Update 更新

学亮编程手记

10-21

2040

再利用 Unique 模型自带的 Value 列新数据替换旧数据的逻辑，将待更新的行变更后，再重新插入到表中，从而实现行级别更新。这时候，用户点击付款后，Doris 系统需要将订单 id 为 ‘1’ 的订单状态变更为 ‘待发货’，就需要用到 Update 功能。假设 Doris 中存在一张订单表，其中订单 id 是 Key 列，订单状态，订单金额是 Value 列。Update 语法在 Doris 中是一个同步语法，即 Update 语句执行成功，更新操作也就完成了，数据是可见的。

Apache Doris 入门教程19：数据更新及删除

sunjian286的专栏

08-01

5098

本文简要介绍如何在Apache Doris中进行数据更新及删除操作

Doris 的批量更新

howard_shooter的博客

08-17

4203

2、更新操作，底层实现，就是先把新数据生成并写入新的segment文件，旧数据的segment文件不会修改，但是其中被更新的记录会被标记删除，每个segment有一个deletebitmap对象标记哪些记录被删除，deletebitmap不存储在segment文件中，而是存储在同一个BE节点的rocksdb中，这是个内嵌在BE代码中的key-value数据库，可见，更新时，旧的数据文件不会被修改，只是增加新的segment文件和deletebitmap信息，效率是很高的。

doris数据模型，07-Duplicate模型

车前猛跑

12-26

1357

Duplicate Key模型，导入数据时不会产生聚合，源数据不失真。如：对于日志分析，不在意多几条，少几条数据，只关心排序，这时候。的字段用来指示底层数据按照该字段。模型就有用武之地了。

doris duplicate key 建表

09-27

Doris是一个开源的大数据处理系统，它支持实时分析和在线查询。当在Doris中创建表时，如果希望防止某些列有重复值，可以使用`UNIQUE`约束或者`PRIMARY KEY`约束来指定作为唯一标识的关键列。例如，如果你想确保名为`id`的列不会有任何重复： ```sql CREATE TABLE my_table ( id INT PRIMARY KEY, other_columns... // 其他列信息 ); ``` 在这个例子中，`id`会被自动设置为索引，并且不允许有重复值。如果有尝试插入已经存在的`id`，Doris会抛出错误。另一个例子，如果你想要一列或多列组合成唯一的键： ```sql CREATE TABLE my_table ( unique_key_column1 INT, unique_key_column2 VARCHAR(255), UNIQUE (unique_key_column1, unique_key_column2) ); ``` 这里，`unique_key_column1`和`unique_key_column2`一起作为一个复合键，保证它们的组合在表中不会重复。