Doris DUPLICATE KEY数据覆写方案

最新推荐文章于 2025-10-24 22:57:51 发布

原创

最新推荐文章于 2025-10-24 22:57:51 发布 · 1.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

本文介绍了一种针对数据口径及ETL错误的修正方法，通过具体SQL操作演示了如何创建带分区的表、插入数据、查询数据以及按条件删除历史数据等内容。

1.问题背景

因为业务侧存在数据口径和ETL出错的问题，需要对数据历史部分数据进行删除后重新生成并写入的需求。

2.实现步骤

创建表

CREATE TABLE IF NOT EXISTS test1
(
    `day` DATE NOT NULL COMMENT "default 1980-00-00",
    `user_type` VARCHAR(20) COMMENT "",
    `product` VARCHAR(20) CO

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wangleigiser

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Apache Doris (十三) ：数据存储模型之Duplicate数据存储模型

qq_32020645的博客

07-01

491

底层的数据存储，是按照各自建表语句中，AGGREGATE KEY、UNIQUE KEY 和 DUPLICATE KEY 中指定的列进行排序存储的。，更贴切的名称应该为 “Sorted Column”，这里取名 “DUPLICATE KEY” 只是用以明确表示所用的数据模型。在某些多维分析场景下，数据既没有主键，也没有聚合需求，只需要将数据原封不动的存入表中，数据有主键重复也都要存储。这种数据模型区别于 Aggregate 和 Unique 模型，数据完全按照导入文件/或插入的数据进行存储，不会有任何聚合。

Doris 数据模型—Duplicate 模型

最新发布

学亮编程手记

10-24

826

删除操作语句通过 MySQL 协议，按条件删除指定表或分区中的数据。支持通过简单的谓词组合条件来指定要删除的数据，也支持在主键表上使用USING子句关联多表进行删除。

doris数据模型，07-Duplicate模型

车前猛跑

12-26

1354

Duplicate Key模型，导入数据时不会产生聚合，源数据不失真。如：对于日志分析，不在意多几条，少几条数据，只关心排序，这时候。的字段用来指示底层数据按照该字段。模型就有用武之地了。

【Doris入门】Doris数据表模型：明细模型（Duplicate Key Model）详解

IT成长日记的博客

09-01

1338

本文将深入剖析 Doris 的明细模型（Duplicate Key Model），从技术原理、建表示例、数据操作到性能优化，全方位解读这一最常用也最基础的数据模型。在明细模型中，建表时指定的 DUPLICATE KEY 仅用于指明数据存储的排序列，并不代表唯一性约束。其实现原理是记录删除谓词（Delete Predicate），在查询时作为运行时过滤器过滤掉被删除的数据。Apache Doris 的明细模型（Duplicate Key Model）作为最基础也是最常用的数据模型，

Doris DUPLICATE KEY数据更新&覆盖方案

wangleigiser的博客

12-05

2646

因为业务侧存在数据口径和ETL出错的问题，需要对数据历史部分数据进行删除后重新生成并写入的需求。

Apache Doris三种数据模型(Aggregate、Uniq、Duplicate)的使用及其注意点

Bulut0907

10-26

1万+

目录1. key和value2. 数据模型2.1 Aggregate数据模型 1. key和value 这里的key并不是索引的意思，下面根据情况具体说明： Aggregate数据模型：key为聚合的键，value为聚合的值 Uniq数据模型：key为聚合的键，value为聚合的值 Duplicate数据模型：key为建表时指定的duplicate key(sorted column，只是用来排序)，其余字段为value rollup 作用于Aggregate和Uniq数据模型：key为聚合的键，val

大数据Doris（三十六）：Duplicate 模型（冗余模型）介绍

Lansonli（蓝深李）的博客

12-15

1068

数据完全按照导入文件中的数据进行存储，不会有任何聚合。而在建表语句中指定的 DUPLICATE KEY，只是用来指明底层数据按照那些列进行排序。Duplicate Key 的模型，就是说支持一个用户导入之后把这个数据全部放在数据库里面，我们不再做提前的聚合，也不单独保证唯一性，只做一个排序。如：对于有些日志分析它不太在意数据多几条或者少几条，可能只关心排序，这个时候可能重复 Key 的模型会更加有效果。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。

doris--Aggregate、UNIQUE、Duplicate、索引

Y521316的博客

05-26

2329

doris--Aggregate、UNIQUE、Duplicate、索引

研究:控制台在指定位置写数据,覆写及探索记录

KD的疯狂实验室

01-09

324

文章目录UPX跨平台的探索记录-查找这个秘密的过程结果djgpp2vcsawin32 因为工作需要又再次看到了覆写的意义.似乎大量的npm之类的东西都在使用覆写. UPX跨平台的所以研究一下它是如何做到覆写的. 探索记录-查找这个秘密的过程能否在windows上覆写我一直用疑问,因为控制台在可以在自己独立的范围内覆写, 但是在cmd运行起来的窗口呢? 现在找到答案依然是可以同样的API来覆写...

Doris 数据模型-Duplicate 模型（十二）

weixin_46039745的博客

11-22

420

Doris 的数据模型主要分为 3 类：Aggregate、Uniq、DuplicateAggregate:在某些多维分析场景下，数据既没有主键，也没有聚合需求。Duplicate 数据模型可以满足这类需求。数据完全按照导入文件中的数据进行存储，不会有任何聚合。即使两行数据完全相同，也都会保留。而在建表语句中指定的 DUPLICATE KEY，只是用来指明底层数据按照那些列进行排序。

Doris存储层设计介绍2——数据写入及删除流程

爱吃辣条的博客

02-18

4331

Doris存储层设计介绍2——数据写入及删除流程

pytorch自定义输入数据（复写Dataset）

qq_40195778的博客

12-12

625

深度学习中，自定义数据来获得模型的输入和预测结果（pytorch）

Doris三种数据模型Aggregate、Uniq、Duplicate使用

weixin_42886699的博客

08-22

1298

3. ⽤户进⾏查询时，在BE后端可能不同insert批次的数据未进⾏聚合，此时会对符合查询条件的数据进⾏内部聚合(不⽤⽤户调⽤group by，会扫描所有列的数据)后，再返回给客户端。根据user_id, username这2个key进⾏数据的聚合，其余字段按replace⽅式进⾏聚合。->作⽤于Aggregate和Uniq数据模型：key为聚合的键，value为聚合的值。Aggregate数据模型：key为聚合的键，value为聚合的值。Uniq数据模型：key为聚合的键，value为聚合的值。

Doris_Doris表修改

迎难而上

11-28

5175

Palo表暂不支持字段重命名。社区版本1.2.0+doris 支持字段重命名，不过需要设置属性 "light_schema_change" = "true"schema change 是异步的，任务提交成功则返回，之后可使用。不能在 rollup index 中增加 base index 中已经存在的列（如有需要，可以重新创建一个 rollup index）非聚合模型（如 DUPLICATE KEY）如果增加key列，需要指定KEY关键字。Doris表在修改注释的时候，可以同时修改多个字段的注释。

Doris 读写流程

悦上心灵的博客

05-16

1822

Apache Doris 为分析而生

doris duplicate key 建表

09-27

Doris是一个开源的大数据处理系统，它支持实时分析和在线查询。当在Doris中创建表时，如果希望防止某些列有重复值，可以使用`UNIQUE`约束或者`PRIMARY KEY`约束来指定作为唯一标识的关键列。例如，如果你想确保名为`id`的列不会有任何重复： ```sql CREATE TABLE my_table ( id INT PRIMARY KEY, other_columns... // 其他列信息 ); ``` 在这个例子中，`id`会被自动设置为索引，并且不允许有重复值。如果有尝试插入已经存在的`id`，Doris会抛出错误。另一个例子，如果你想要一列或多列组合成唯一的键： ```sql CREATE TABLE my_table ( unique_key_column1 INT, unique_key_column2 VARCHAR(255), UNIQUE (unique_key_column1, unique_key_column2) ); ``` 这里，`unique_key_column1`和`unique_key_column2`一起作为一个复合键，保证它们的组合在表中不会重复。